大数据语义分析：灵玖中文分词的分词处理

　在中文自然语言处理中，词是最小的能够独立活动的有意义的语言成分。汉语是以字为基本书写单位，词语之间没有明显的区分标记，因此进行中文自然语言处理通常是先将汉语文本中的字符串切分成合理的词语序列，然后再在此基础上进行其它分析处理。中文分词是中文信息处理的一个基础环节，已被广泛应用于中文文本处理、信息提取、文本挖掘等应用中。分词涉及许多方面的问题，主要包括：

　　(1). 核心词表问题：许多分词算法都需要有一个核心的(通用、与领域无关的)词表。凡在该词表中的词，分词时就应该切分出来。但对于哪些词应当收进核心词表，目前尚无一个标准;

　　(2). 词的变形问题：汉语中的动词和形容词有些可以产生变形结构，如“打牌”、“开心”、“看见”、“相信”可能变形成“打打牌”、“开开心”等，它们可以被切出“打打/牌”，但“开开/心”就不合理。又如大量的离合词如“打架”、“睡觉”等可以合理地变形为“打了一场架”、“睡了一大觉”。对这些变形结构的切分往往缺少可操作而又合理的规范;

　　(3). 词缀的问题：如语素“者”在现代汉语中单用是没有意义的，因此“作者”、“成功者”、“开发者”内部不能切开。依据这个标准，如“作出了巨大个人财产和精神牺牲者”、“克服许多困难而最终获得成功者”也不能切开，但这样复杂的结构与词的定义相矛盾。又如职务名称“教育局长”，语义上理解为“教育局之长”，但切成“教育/局长”、“教育局/长”、“教育/局/长”或不予切分，都会有人提出异议。

　　(4). 汉语自动分词规范须支持各种不同目标的应用，但不同目标的应用对词的要求是不同甚至是矛盾的。比如以词为单位的键盘输入系统为了提高输入速度，一些互现频率高的相互邻接的几个字也常作为输入单位，如“这是”、“每一”、“并不”、“不多”等;检索系统中，检索系统的词库注重术语和专名，且多数检索系统倾向于分词单位小型化，比如把“中国科学院”切成“中国/科学院”，使得无论用“中国科学院”还是用“科学院”检索，系统都能查到，提高查全率;在校对系统中往往将含有易错字的词和词组作为词单位，如许多人“作”、“做”分不清，计算机自动判别时，若把它们当作单字词也不好区分，但在同前后文构成的词或词组中往往可以有确定的选择，故应把有关的词和词组都收进词库，如“敢做”、“敢作敢为”、“叫做”、“做出”、“看作”、“做为”等，而校对系统要求分词单位较大，如把“勇斗”、“力擒”、“智取”等分别作为一个分词单位并划归及物动词参与上下文检查，“张老师”、“五分之三”、“北京中医学院”也应分别作为分词单位，并分别归类作为人、数字、机构名，再参与上下文检查。

　　而NLPIR文本搜索与挖掘开发平台针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，提供了用于技术二次开发的基础工具集。是一套专门针对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。

　　NLPIR文本搜索与挖掘开发平台的几大功能：

　　1. 全文精准检索：支持文本、数字、日期、字符串等各种数据类型，多字段的高效搜索，支持AND/OR/NOT以及NEAR邻近等查询语法，支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。可以无缝地与现有文本处理系统与数据库系统融合。

　　2. 新词发现：从文件集合中挖掘出内涵的新词语列表，可以用于用户专业词典的编撰;还可以进一步编辑标注，导入分词词典中，从而提高分词系统的准确度，并适应新的语言变化。

　　3. 分词标注：对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中，导入用户定义的词典。

　　4. 统计分析与术语翻译： 针对切分标注结果，系统可以自动地进行一元词频统计、二元词语转移概率统计(统计两个词左右连接的频次即概率)。针对常用的术语，会自动给出相应的英文解释。

　　5. 文本聚类及热点分析：能够从大规模数据中自动分析出热点事件，并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。

　　6. 分类过滤： 针对事先指定的规则和示例样本，系统自动从海量文档中筛选出符合需求的样本。

　　7. 正负面分析：针对事先指定的分析对象和示例样本，系统自动从海量文档中筛选出正负面的得分和句子样例。

　　8. 自动摘要： 能够对单篇或多篇文章，自动提炼出内容的精华，方便用户快速浏览文本内容。

　　9. 关键词提取：能够对单篇文章或文章集合，提取出若干个代表文章中心思想的词汇或短语，可用于精化阅读、语义查询和快速匹配等。

　　10. 文档去重： 能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录，同时找出所有的重复记录。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31386431/viewspace-2128147/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31386431/viewspace-2128147/