全文检索的实现方式

近段时间公司项目的需要，需要对新闻资讯进行全文检索。

新闻资讯总的访问量是日pv1000万，这其中有点水分，有些是爬虫爬的。历史数据量大概是500万+，性能要求支持400个并发请求。页面加载速度需要在1.5秒内加载完毕。

所以针对全文检索这块一开始考虑到使用sphinx或者lucence。最终选择了sphinx，一是它的配置相对来说简单，另外它的效率比较高。但是它对中文的分词支持不太好，google了下，基于sphinx的coreseek和sphinx for chinese在中文检索方面还是不错的。但是coreseek搜索了下，竟然连官网都访问不了了。pass掉。sphinx for chinses的版本又大都是12年的，太旧。最后在github上找到了https://github.com/eric1688/sphinx。这个相对来说是比较新的版本。

1.安装

 ①cd /usr/local/src

git clone https://github.com/eric1688/sphinx

②cd sphinx

       ./configure --prefix=/usr/local/sphinx --with-mysql

③make && make install

安装的过程可能会出现以下问题：

* 如果服务器没有事先安装mysql客户端，需要先安装

yum install mysql-devel

然后在执行./configure

* libiconv的问题

这个是源码本身存在的问题，解决

vi src/Makefile

 把LIBS = -lexpat -ldl -lm -lz -L/usr/local/lib -lrt  -lpthread

     改成

   LIBS = -lexpat -ldl -lm -lz -liconv -L/usr/local/lib -lrt  -lpthread

然后重新make

④安装成功后生成xdict二进制词库。sphinx for chinese使用的分词库是xdict

cd /usr/local/src/sphinx/

/usr/local/sphinx/bin/mkdict   xdict_1.1.txt   xdict 

cp xdict /usr/local/etc/

注意：有时mkdict的时候会出现找不到liconv.so.2

解决：mkdict的时候加ldd ，即ldd /usr/local/sphinx/bin/mkdict  xdict_1.1.txt   xdict

⑤修改配置文件

cd /usr/local/sphinx/etc/

mv sphinx.conf.dist sphix.conf

关于配置文件的相关参数，我就不做过多描述了。这里有前人写的一篇博客。描述的很详细。

http://www.cnblogs.com/yjf512/p/3598332.html

⑥生成索引

/usr/local/sphinx/bin/indexer --all

注：如果在sphinx已经启动的情况下，直接执行上面的命令，会报错如下：

怎么办呢？加一个--rotate参数就可以了。即 /usr/local/sphinx/bin/indexer --all --rotate

⑦启动

/usr/local/sphinx/bin/searchd -c /usr/local/sphinx/etc/sphinx.conf

查看是否启动

ps -ef|grep searchd

⑧cronjob更新索引

sphinx本身不会自动更新索引，所以一旦有新的数据进来或修改原来的数据。怎么办？job定时更新是个选择。但是job更新有个问题，如果你的数据库数据非常庞大，超过1000万，更新索引的话也会比较慢。怎么办？可以通过建立主索引和二级索引的方式。

①mysql里新建一张表，记录上次主索引获取的·最后一个文章的id，比如max_doc_id记录主索引最后一个文章的id，counter_id记录统计的标识id。因为一个配置文件可能会有多个索引，我们需要区别是哪个的max_doc_id。.

②sphinx.conf里配置，主索引获取数据<=counter_id的，二级索引获取数据>counter_id

例如：

主索引数据来源

二级索引数据来源

③创建主索引和二级索引的脚本文件，主索引放到晚上执行，比如1:00,因为数据量大嘛。二级索引可以根据数据增加的情况，设置半个小时或15分钟执行一次。

主索引build_main_index.sh

二级索引build_delta_index.sh

放到job里执行

*/15 * * * * /bin/sh /var/www/html/sphinx_scripts/build_delta_index.sh 

30 2 * * *  /bin/sh /var/www/html/sphinx_scripts/build_main_index.sh

以上是sphinx for chinese安装和配置，下一篇讲php里如何使用sphinx进行全文检索。