灵玖软件Nlpir Parser智能平台挖掘文本数据

此篇来源于：绿色商业智能BI社区

　　在现实世界中，可获取的大部信息是以文本形式存储在文本数据库中的，由来自各种数据源的大量文档组成，如新闻文档、研究论文、书籍、数字图书馆、电子邮件和Web页面。由于电子形式的文本信息飞速增涨，文本挖掘已经成为信息领域的研究热点。

　　文本挖掘(Text Mining)是一个从非结构化文本信息中获取用户感兴趣或者有用的模式的过程。文本挖掘的主要用途是从原本未经处理的文本中提取出未知的知识，但是文本挖掘也是一项非常困难的工作,因为它必须处理那些本来就模糊而且非结构化的文本数据,所以它是一个多学科混杂的领域,涵盖了信息技术、文本分析、模式识别、统计学、数据可视化、数据库技术、机器学习以及数据挖掘等技术 。

　　灵玖软件Nlpir Parser智能搜索与挖掘平台针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成，各个中间件 API 可以无缝地融合到客户的各类复杂应用系统之中，可兼容 Windows，Linux， Android，Maemo5, FreeBSD

　　等不同操作系统平台，可以供 Java，C，C#等各类开发语言使用。主要功能：

　　1. 全文精准检索：支持文本、数字、日期、字符串等各种数据类型，多字段的高效搜索，支持AND/OR/NOT以及NEAR邻近等查询语法，支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。可以无缝地与现有文本处理系统与数据库系统融合。

　　2. 新词发现：从文件集合中挖掘出内涵的新词语列表，可以用于用户专业词典的编撰;还可以进一步编辑标注，导入分词词典中，从而提高分词系统的准确度，并适应新的语言变化。

　　3. 分词标注：对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中，导入用户定义的词典。

　　4. 统计分析与术语翻译：针对切分标注结果，系统可以自动地进行一元词频统计、二元词语转移概率统计(统计两个词左右连接的频次即概率)。针对常用的术语，会自动给出相应的英文解释。

　　5. 文本聚类及热点分析：能够从大规模数据中自动分析出热点事件，并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。

　　6. 分类过滤：针对事先指定的规则和示例样本，系统自动从海量文档中筛选出符合需求的样本。

　　7. 正负面分析：针对事先指定的分析对象和示例样本，系统自动从海量文档中筛选出正负面的得分和句子样例。

　　8. 自动摘要：能够对单篇或多篇文章，自动提炼出内容的精华，方便用户快速浏览文本内容。

　　9. 关键词提取：能够对单篇文章或文章集合，提取出若干个代表文章中心思想的词汇或短语，可用于精化阅读、语义查询和快速匹配等。

　　10. 文档去重：能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录，同时找出所有的重复记录。

　　11. HTML正文提取：自动剔除导航性质的网页，剔除网页中的HTML标签和导航、广告等干扰性文字，返回有价值的正文内容。适用于大规模互联网信息的预处理和分析。

　　12. 编码自动识别与转换：自动识别内容的编码，并把编码统一转换为GBK编码。

　　文本挖掘是应用驱动的。它在商业智能、信息检索、生物信息处理等方面都有广泛的应用;例如，客户关系管理，自动邮件回复，垃圾邮件过滤，自动简历评审，搜索引擎等等。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31458750/viewspace-2139090/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31458750/viewspace-2139090/