信息检索和文本聚类的开源软件

最新推荐文章于 2024-06-28 18:53:42 发布

qinpeng2000

最新推荐文章于 2024-06-28 18:53:42 发布

阅读量3.8k

点赞数

文章标签：自然语言处理搜索引擎文档工具 semantic translation

信息检索和文本聚类的开源软件（部分）

（开源搜索引擎索引库）

Free Software for research in Information Retrieval and Textual Clustering(partly)

Emmanuel Eckard and Jean-C´edric Chappelier

作者：

Emmanuel Eckard

http://people.epfl.ch/emmanuel.eckard

博士，机器学习，信息检索领域，洛桑联邦理工学院。

Jean-C´edric Chappelier

http://liawww.epfl.ch/People/chaps.html

副教授，自然语言处理，洛桑联邦理工学院。

翻译：

史春奇，

搜索工程师，

中科院计算所毕业，

chunqi.shi@hotmail.com

原文：http://infoscience.epfl.ch/record/115460/files/Free_sofware_for_IR.pdf

摘要

本文综述了主流的信息检索领域的开源软件，和相关背景。本文可以作为选择合适的开源工具作为参考资料。

1 简介

自1950年代后，自然语言处理高速发展。随着互联网和计算机的普及，信息变得庞大无比，因而需要自动系统来进行管理。并且万维网的大众化带来了类似搜索引擎（Google， Yahoo），机器翻译（远景公司Altavista--巴别鱼翻译Babel Fish Translation）这样自然语言处理极大需求。

文本自然语言处理可以划分成多个子领域，每个领域又都有特殊的问题，提供特别的服务。部分领域相关性很高，可能是之间拥有相似性（例如，信息检索和文本聚类，两者精髓一致，要么是处理一组文本，要么处理两组文本），也可能是基于共同的服务（例如，文本分块或者分词为信息检索提供便捷）。因此，自然语言处理的流程必然包含一系列特异化的步骤。不同研究着眼点会不一样。一个步骤的输出可能成为另外一个步骤的输入。一个的底层处理可能会是另外一个步骤的高层处理。这要取决于研究者是专注于索引，分词，文档聚类，还是评估。

本文从信息检索的角度出发，输入是自然语言的文本集合，由计算机术语空间向量模型表示。这种方式中，假定文本已经做完分词和变形处理，它的索引被认为是低端工作。其他流程在输入输出上和标准信息检索大体一致，即聚类，分类，过滤，机器翻译，和问题回答。

随着万维网的普及信息检索技术传播极快。基于网页的信息检索尤其强调太（T）级别数据量的海量数据管理，以及对用户查询的快速响应（尤其用户考虑网络延迟的情况下，目前网页搜索引擎应用中，网络延迟几乎占用户等待时间的一半）。这种基于海量数据的高效查询的需求吸引了无数学术研究，已经工业化的开发超大系统。文本检索大会TREC的最新期已经Web和Terabytes的方向，提供给研究人员对应的文档集。

图一，含有隐含特征的信息检索处理流程。索引流程囊括了类似分块，消歧或者词根替换，以及应用外在信息。隐含变量的处理步骤是基于带潜在参数的文档的模型，例如贝叶斯（Naïve Bayesian）， LSI， PLSI，或者Smoothed Dirichlet。而文档比较基于表示文档的向量空间模型的相似性。

在此例中，信息检索由含隐形变量的空间学习，含隐含变量的空间映射和比较。

2 软件

2.1 信息检索

信息检索的境况相当微妙，正如本网写到，没有一个软件框架被认为是行业内的标准工具集。因此，一些专业的实验室在升级他们自己的工具，采用不同的编程语言，专注于信息检索的不同的阶段，并且以各异的证书来发布。选个好的软件框架相当重要，原因如下：高效的访问，存储和数据处理是复杂而具体的任务，需要优化措施远超出了信息检索领域。数据索引可能需要分词，分块，词句消歧，等等。这些很多时候会落在目标领域之外。现成的软件已经提供了完成的工具链，根本不要求你懂模型，因此可能进行基线比较。开源软件相当适合类似比较实验，因为免费所以方便随便测试，因为开源所以可以开发新算法，还因为软件架构的通用性使得第三方可以在研究中采用合适的软件。

大部分软件很明显的共有特征是，都适用于上G的数据集，这是为了和TREC的Terabyte的方向一致，当用大数据集的时候，方便考察信息检索模型的行为特征。

接下来，综述了下知名软件。本综述可由法国信息检索社区获得。在图3,4和5中出了表来说结果。

2.1.1 Lemur（狐猴）

Lemur是信息检索和语言建模的工具。以BSD证书发布。网站是http://www.lemurproject.org 项目组织很好，是研究的基线。

Lemur提供六种检索模型：TFIDF, Okapi (BM 25), Simple KL, InQuery, CORI集合选择， cosine距离， Indri SQL。另外， Lemur的可选的分类工具中提供了霍夫曼（Hoffman）统计语义分析（Probabilistic Semantic Analysis）或者至少其中的最大似然估计学习部分。这样的话，查询词如果不用折叠方法的话，就没法很容易地被处理。而折叠方法既没有在Lemur实现，而且在研究中也没有很好地被定义。

Lemur本身就是一个库。而提供独立的搜索引擎的包叫Indri（大狐猴），Indri是并行的，可当成过滤器来用也适合处理T字节数据。