Sphinx和Coreseek:强大的开源全文检索引擎

转载 2016年05月31日 12:06:41

简介
  Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口,如PHP,Python,Perl,Ruby等,同时为MySQL也设计了一个存储引擎插件。
  Sphinx单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级)。Sphinx创建索引的速度为:创建100万条记录的索引只需 3~4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建一次只需几十秒。

Sphinx和Coreseek:强大的开源全文检索引擎

特性
  Sphinx的主要特性包括:
  高速索引 (在新款CPU上,近10 MB/秒);
  高速搜索 (2-4G的文本量中平均查询速度不到0.1秒);
  高可用性 (单CPU上最大可支持100 GB的文本,100M文档);
  提供良好的相关性排名
  支持分布式搜索;
  提供文档摘要生成;
  提供从MySQL内部的插件式存储引擎上搜索
  支持布尔,短语,和近义词查询;
  支持每个文档多个全文检索域(默认最大32个);
  支持每个文档多属性;
  支持断词;
  支持单字节编码与UTF-8编码。

Coreseek
  Coreseek 的开发工作类似Sphinx(起始于2001年),可以上溯到2006年,当时试图为一个数据库驱动的网站寻找一个可接受的中文搜索的解决方案,但是当时没有任何方案能够完全而又直接的满足要求。事实上,主要是如下问题:
· 搜索质量(例如:类似Google的有效的相关度算法) 单纯的统计学方法的效果非常糟糕,特别是在大量的短篇文档的集合上,例如:论坛、博客等等
· 搜索速度 特别是当搜索的短语包括”停止词”时,表现的尤其明显,例如:”to be or not to be”
· 建立索引时,可控的磁盘和CPU消耗 在现有硬件的环境下,这一点的重要性要超过对索引构造速度的要求。
· 中文搜索的准确性和效率 因为众所周知的原因,只有准确的中文分词才能提高中文搜索的准确性,并大大降低计算量。
  通过网络,我们了解到有无数的人存在类似的需求,尔后我们进行了不同途径的探索,尝试了不同的走法,经过了反复的实践,最终选择基于Sphinx、结合MMSeg,开发出Coreseek中文全文检索引擎,并按照GPLv2协议发行,以供企业和个人解决中文搜索问题。
  年复一年,其他的解决方案有了很多改进,新的方案也不断涌现,但是,我们一致认为仍然没有一种解决方案足够的好,能让我们抛弃Sphinx将搜索平台迁移过去。近年来,Sphinx/Coreseek的用户给了我们很多正面的反馈和建议,我们也不断改进和提高,并增加了Python数据源,将Sphinx /Coreseek的应用范围从已知世界扩展到未知世界,其应用场景也达到无限种可能;因此,显而易见的,Sphinx/Coreseek的开发过程将会继续(也许将持续到世界末日)。

下载
  Sphinx原始版本可以从Sphinx官方网站 http://www.sphinxsearch.com/ 下载。
  Coreseek可以从Coreseek官方网站 http://www.coreseek.cn/ 下载。

扩展
  Sphinx 0.9.9/Coreseek 3.2 中文参考手册
  Sphinx的使用资料也可以参考这里

备注
  这仅仅是一个引子(备忘录),详细应该看手册,并实际搭建一下实验环境。

sphinx与coreseek

Sphinx 1 下载sphinx  http://sphinxsearch.com/ 2 编译安装 tar -zxvf sphinx.tar.gz ./configure --prefix=/...
  • fb408487792
  • fb408487792
  • 2015年05月04日 09:36
  • 689

全文检索之sphinx源码分析--索引创建流程

sphinx是c++语言编写的一个开源全文检索项目,索引文件创建速度和检索速度都是不错的。由于公司的项目需要我对其源码进行了解读,并在其上进行了一定程度的改写以适应项目检索提速的需求。这篇文章就是我对...
  • pzlpy
  • pzlpy
  • 2017年08月23日 21:40
  • 118

Coreseek/sphinx全文检索的了解

Coreseek/sphinx全文检索的了解 概述:   全文检索是一种将文件中所有文本与检索项匹配的文字资料检索方法,全文检索是将存储于数据库中整本书、整篇文章中的任意内容信息查找出来的检索。它...
  • wuchengzeng
  • wuchengzeng
  • 2014年07月03日 09:45
  • 1886

站内全文搜索引擎 Sphinx/coreseek 安装使用教程

Sphinx是开源的搜索引擎,它支持英文的全文检索。所以如果单独搭建Sphinx,你就已经可以使用全文索引了。但是往往我们要求的是中文索引,怎么做呢?国人提供了一个可供企业使用的,基于Sphinx的中...
  • u013372487
  • u013372487
  • 2017年03月26日 20:30
  • 495

paip.;论全文检索实现方式lucene Sphinx solr以及比较

paip.;论全文检索实现方式lucene  Sphinx  solr以及比较   1.    1lucene(solr,elasticsearch 都是基于它)......................
  • attilax
  • attilax
  • 2013年10月22日 22:36
  • 4159

基于Sphinx的实例解析:DISCUZ全文检索

这里我主要讲重点,第一个是基于discuz的索引配置文件,这个配置文件比较灵活,可以根据不同的需求来配置 # # LinuxTone full index search config...
  • soonfly
  • soonfly
  • 2016年04月27日 12:04
  • 1576

sphinx中文检索引擎coreseek+php+mysql搭建

coreseek下载 官网地址: Windows参考:http://www.coreseek.cn/products-install/install_on_windows/ Linux参考:...
  • kirsten_z
  • kirsten_z
  • 2017年11月08日 15:53
  • 88

让coreseek支持拼音检索

一、介绍:         Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/...
  • slqgenius
  • slqgenius
  • 2016年08月03日 22:10
  • 666

在Mac下安装Coreseek全文搜索

在Mac下安装Coreseek全文搜索
  • u012399320
  • u012399320
  • 2016年07月08日 10:49
  • 513

php+中文分词scws+sphinx+mysql打造千万级数据全文搜索

Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎。意图为其他应用提供高速、低空间占用、高结果 相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成...
  • nuli888
  • nuli888
  • 2016年07月12日 21:33
  • 16265
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Sphinx和Coreseek:强大的开源全文检索引擎
举报原因:
原因补充:

(最多只允许输入30个字)