sphinx与全文搜索

一.sphinx简介：
Sphinx是一个基于SQL的全文检索引擎，可以结合MySQL,PostgreSQL做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口，如PHP,Python,Perl,Ruby等，同时为MySQL也设计了一个存储引擎插件。


Sphinx 单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需 3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。


二、sphinx优点:
Sphinx的主要特性包括：
高速索引 (在新款CPU上,近10 MB/秒);
高速搜索 (2-4G的文本量中平均查询速度不到0.1秒);
高可用性 (单CPU上最大可支持100 GB的文本,100M文档);
提供良好的相关性排名
支持分布式搜索;
提供文档摘要生成;
提供从MySQL内部的插件式存储引擎上搜索
支持布尔,短语, 和近义词查询;
支持每个文档多个全文检索域(默认最大32个);
支持每个文档多属性;
支持断词;
支持单字节编码与UTF-8编码;
 
三、基于sphinx产品:
 Coreseek 是一款中文全文检索/搜索软件，以GPLv2许可协议开源发布，基于Sphinx研发并独立发布，专攻中文搜索和信息处理领域，适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景.


四、何时，需要全文检索


     全文搜索技术虽然是好东西，但并不是任何人都需要全文检索的，我们总结了国内全文检索的几个典型应用场景。


4.1您在运营知识分享型的社区(Forum)：
大量的新来用户对某些简单的问题反复发帖询问，版主不胜其烦；
大量宝贵的答案、精辟的见解被淹没在回复中，通过帖子主题检索不到；
为了降低服务器负载，您不得不限制用户每30秒才能使用搜索功能一次，用户很难受，您很难过；
为了提高服务质量，您寄希望于Google、百度这样的全网搜索引擎，但是您的数据更新可能不及时，更要命的是有些私密的主题，您不想让除了您和您的注册用户以外的第三方知道；
4.2您在运营社会化社交网络（SNS）：
如何让您的用户找到志同道合的朋友？
如何帮助用户更好的管理自己的Blog？
4.3您在运营电子商务网站(e-Shop)：
如何让每个访客尽快找到他/她感兴趣的商品，达成销售？


五、全文搜索与数据库的区别：
 全文检索是数据库的有力补充，全文检索并不能替代数据库在应用系统中的作用。当应用系统的数据以大量的文本信息为主时，采用全文检索技术可以极大的提升应用系统的价值。


数据库搜索，如果搜索范围包括全部正文数据，往往性能很低，用户响应时间长（分钟级，经常超时）；而全文检索可以在0.x秒（毫秒级）的时间内将结果反馈给用户；
数据库搜索，一个用户在搜索，往往影响其他用户的对应用系统进行操作；全文检索可以同时支持多个用户并发搜索，其他对应用系统进行操作的用户不受影响； 
数据库搜索很难实现多个关键字的复合搜索；而全文检索可以实现多个关键词的复合搜索，包括 “和(AND)”、“或(OR)”、“否(NOT)” 等； 
数据库搜索难于对结果进行相关度排序，当检索结果多时，用户往往难于找到最恰当的文档；而全文检索通过统计的研究成果，可以将文档进行相关度排序后，再返回给用户，提高用户的效率；
全文检索还可以对检索结果的数据进行聚类分析（Group, 这里的聚类和NLP里面的聚类算法不同），增进用户对数据分布情况的了解； 
全文检索需要用户定期执行建立索引的动作，比直接使用数据库搜索增加了维护的工作； 
实现的不完善的全文索引系统容易造成索引与数据库的不一致，反而降低了用户的使用体验； 
优秀的全文检索系统支持按照文档的不同字段分配不同的检索权重，根据应用的不同动态的改变结果的排序；
对于中文、日文和韩文而言，全文检索支持分词，进一步缩小了结果集的范围；而数据库检索往往不支持，往往一些与搜索词毫不相干的内容也混入了结果集。
     全文检索与数据库检索各有优势，需要根据具体应用场景的不同灵活选择。


六、下载
  http://www.coreseek.cn/news/14/52/
七、 安装：
  7.1  D:/wwwroot/coreseek  我这里安装在wwwroot 下面（根据你个人爱好，放哪都可以）；
  7.2  “开始”——>“运行”——>输入cmd，打开命令行窗口——>执行 "d: 回车"——>执行 "cd  wwwroot\coreseek\"，进入到 coreseek目录下；
      C:\Documents and Settings\Administrator>d:
      D:\>cd wwwroot/coreseek
      D:\wwwroot\coreseek>
 7.3 设置环境变量
          我的电脑--->属性---->高级--->环境变量---->系统变量---->path-->点击编辑 ;d:\wwwroot\coreseek\bin


7.4  安装服务
   D:\wwwroot\coreseek>bin\searchd --install --config d:wwwroot/coreseek/etc/csft_mysql.conf
 






八、mysql数据源的配置与创建索引


 8.1 创建数据库
cmd   
mysql -uroot -ptest123
create database weibo
use news;
create  table mynews(
 id int primary key auto_increment,
 title varchar(200) not null,
content text not null,
addTime datetime not null,
author varchar(30) not null,
fulltext(title,content)
)engine=myisam default charset=utf8;
   
8.2   第二步： 创建配置文件
csft_mysql.conf  数据库配置
   我们这里以mysql为数据源来做配置


8.3 创建索引
  C:\Documents and Settings\Administrator>d:
   D:\>cd wwwroot\coreseek\
  D:\wwwroot\coreseek>bin\indexer -c etc/csft_mysql.conf mysql


8.4 数据测试
  bin/search -c etc/csft_mysql.conf 百度