调研:开源搜索引擎

原创 2013年03月30日 14:44:20

本文档是对现有的开源的搜索引擎的一个简单介绍

1.    Lucene

Lucene的开发语言是java, 也是java家族中最为出名的一个开源搜索引擎, 在java世界中已经是标准的全文检索程序, 它提供了完整的查询引擎和索引引擎, 没有中文分词引擎, 需要自己去实现, 因此用Lucene去做一个搜素引擎需要自己去架构.另外它不支持实时搜索, 但linkedin和twitter有分别对Lucene改进的实时搜素. 其中Lucene有一个C++移植版本叫CLucene, CLucene因为使用C++编写, 所以理论上要比lucene快.

官方主页: http://lucene.apache.org/

CLucene官方主页: http://sourceforge.net/projects/clucene/

2.    Sphinx

Sphinx是一个用C++语言写的开源搜索引擎,也是现在比较主流的搜索引擎之一, 在建立索引的事件方面比Lucene快50%, 但是索引文件比Lucene要大一倍, 因此Sphinx在索引的建立方面是空间换取事件的策略, 在检索速度上, 和lucene相差不大, 但检索精准度方面Lucene要优于Sphinx,另外在加入中文分词引擎难度方面, Lucene要优于Sphinx.其中Sphinx支持实时搜索, 使用起来比较简单方便.

官方主页: http://sphinxsearch.com/about/sphinx/

3.    Xapian

Xapian是一个用C++编写的全文检索程序,它的api和检索原理和lucene在很多方面都很相似, 算是填补了lucene在C++中的一个空缺.

官方主页: http://xapian.org/

4.    Nutch

Nutch是一个用java实现的开源的web搜索引擎, 包括爬虫crawler, 索引引擎,查询引擎. 其中Nutch是基于Lucene的, Lucene为Nutch提供了文本索引和搜索的API.

对于应该使用Lucene还是使用Nutch,应该是如果你不需要抓取数据的话, 应该使用Lucene, 最常见的应用是: 你有数据源, 需要为这些数据提供一个搜索页面, 在这种情况下, 最好的方式是直接从数据库中取出数据, 并用Lucene API建立索引.

官方主页: http://nutch.apache.org/

5.    DataparkSearch

DataparkSearch是一个用C语言实现的开源的搜索引擎. 其中网页排序是采用神经网络模型.  其中支持HTTP, HTTPS, FTP,NNTP等下载网页.包括索引引擎, 检索引擎和中文分词引擎(这个也是唯一的一个开源的搜索引擎里有中文分词引擎).能个性化定制搜索结果, 拥有完整的日志记录.

官方主页: http://www.dataparksearch.org/

6.    Zettair

Zettair是根据Justin Zobel的研究成果为基础的全文检索实验系统.它是用C语言实现的. 其中Justin Zobel在全文检索领域很有名气, 是业界第一个系统提出倒排序索引差分压缩算法的人, 倒排列表的压缩大大提高了检索和加载的性能, 同时空间膨胀率也缩小到相当优秀的水平. 由于Zettair是源于学术界, 代码是由RMIT University的搜索引擎组织写的, 因此它的代码简洁精炼, 算法高效, 是学习倒排索引经典算法的非常好的实例. 其中支持linux, windows, mac os等系统.

官方主页: http://www.seg.rmit.edu.au/zettair/about.html

7.    Indri

Indri是一个用C语言和C++语言写的全文检索引擎系统, 是由University of Massachusetts和Carnegie Mellon University合作推出的一个开源项目. 特点是跨平台, API接口支持Java, PHP, C++.

官方主页: http://www.lemurproject.org/indri/

8.    Terrier

Terrier是由School of Computing Science, Universityof Glasgow用java开发的一个全文检索系统.

官方主页: http://terrier.org/

9.    Galago

Galago是一个用java语言写的关于文本搜索的工具集. 其中包括索引引擎和查询引擎, 还包括一个叫TupleFlow的分布式计算框架(和google的MapReduce很像).这个检索系统支持很多Indri查询语言.

官方主页: http://www.galagosearch.org/

10.  Zebra

Zebra是一个用C语言实现的检索程序, 特点是对大数据的支持, 支持EMAIL, XML, MARC等格式的数据.

官方主页: https://www.indexdata.com/zebra

11.  Solr

Solr是一个用java开发的独立的企业级搜索应用服务器, 它提供了类似于Web-service的API接口, 它是基于Lucene的全文检索服务器, 也算是Lucene的一个变种, 很多一线互联网公司都在使用Solr, 也算是一种成熟的解决方案.

官方主页: http://lucene.apache.org/solr/

12.  Elasticsearch

Elasticsearch是一个采用java语言开发的, 基于Lucene构造的开源, 分布式的搜索引擎. 设计用于云计算中, 能够达到实时搜索,稳定可靠. Elasticsearch的数据模型是JSON.

官方主页: http://www.elasticsearch.org/

13.  Whoosh

Whoosh是一个用纯python写的开源搜索引擎.

官方主页: https://bitbucket.org/mchaput/whoosh/wiki/Home

搜索引擎–Python下开源爬虫(spider)框架scrapy的使用

主机环境:Ubuntu 13.04Python版本:2.7.4转载请标明:http://blog.geekcome.com/archives/125——————————————————————————...
  • yming0221
  • yming0221
  • 2013年10月03日 21:26
  • 6680

开源搜索引擎HubbleDotNet图解之基础使用

开源搜索引擎HubbleDotNet图解之基础使用一、HubbleDotNet简介二、HubbleDotNet的下载安装以及升级三、HubbleDotNet的使用四、HubbleDotNet的常见问题...
  • hliq5399
  • hliq5399
  • 2016年06月13日 11:42
  • 3744

基于 Lucene 的8 个开源搜索引擎

摘要: Lucene是一种功能强大且被广泛使用的搜索引擎,以下列出8种基于Lucene的搜索引擎,你可以想象他们有多么强大...Apache SolrSolr是一个高性能,采用Java5开发,基于Lu...
  • kaiyang45
  • kaiyang45
  • 2015年10月16日 09:10
  • 2272

调研:开源搜索引擎

调研:开源搜索引擎 本文档是对现有的开源的搜索引擎的一个简单介绍 1.    Lucene Lucene的开发语言是java, 也是java家族中最为出名的一个开源搜索引擎, 在java世...
  • WMJ75617718
  • WMJ75617718
  • 2014年01月01日 20:37
  • 493

搜索引擎选型调研之Flume1.6+Elasticsearch2.3.1

搜索引擎选型调研之Elasticsearch          最近的一个项目中,由于为了满足实时搜索的功能,一直在致力于选择合适的搜索引擎。起初的设计选型是Hbase+solr,用solr做hbas...
  • nuoyahadili8
  • nuoyahadili8
  • 2016年05月14日 13:18
  • 1297

搜索引擎选型调研文档

搜索引擎选择: Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前...
  • awj321000
  • awj321000
  • 2016年04月18日 17:33
  • 222

个性化搜索引擎调研

一、为什么要做个性化搜索引擎? 每天网上爆发的信息量已经超过了我们能接受的范围,只有因人而异的个性化搜索才能帮助用户找到所需信息。 传统信息检索具有通用性,检索系统不可能满足不同背景、不同目的和不...
  • xiaoyu714543065
  • xiaoyu714543065
  • 2012年03月22日 08:38
  • 755

C#网络爬虫与搜索引擎调研

效果页面:     大致思路: 一个入口链接,例如:www.sina.com.cn,从它入手开始爬,找到了链接,(在此可以解析出网页内容,输入一个关键字,判读是否包含输入的关键字,包含就把这个链接以及...
  • csharp25
  • csharp25
  • 2011年10月25日 11:59
  • 5730

开源分布式服务框架Dubbo调研报告

  • 2017年11月02日 15:19
  • 1.89MB
  • 下载

BI开源报表工具调研报告

  • 2013年08月16日 16:18
  • 505KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:调研:开源搜索引擎
举报原因:
原因补充:

(最多只允许输入30个字)