这几天项目中需要重新做一个关于商品的全文搜索功能,于是想到了用Sphinx,因为需要中文分词,所以选择了Sphinx for chinese,当然你也可以选择coreseek,建议这两个中选择一个,暂时不要选择原版Sphinx(对中文的支持不是很好).又因为服务器所用MySQL在当时编译时并没有编译Sphinx扩展,而重新编译MySQL并加入Sphinx暂时又无法实现(项目用到了多台服务器,在不影响现有业务的情况下不可能去重新编译MySQL的),所以采用的是程序通过API来外部调用Sphinx.Sphinx自带的API有PHP,Python,Ruby,Java等众多版本,所以基本也够用了,本人使用的编程语言是PHP所以下文的条用示例采用的是PHP版的API.
一.安装及配置Sphinx及准备测试数据
1.安装前的准备工作
(1)请确认安装了MySQL,Gcc及常用的开发环境包
(2)下载sphinx-for-chinese-1.10.1(sphinx-for-chinese官方下载)及中文分词词典xdict_1.1
2 | $ wget -c http://sphinx- for -chinese.googlecode.com/files/sphinx- for -chinese-1.10.1-dev-r2287. tar .gz |
3 | $ wget -c http://sphinx- for -chinese.googlecode.com/files/xdict_1.1. tar .gz |
2.安装sphinx-for-chinese-1.10.1
2 | $ tar zxvf sphinx- for -chinese-1.10.1-dev-r2287. tar .gz |
3 | $ cd sphinx- for -chinese-1.10.1-dev-r2287 |
5 | $ ./configure --prefix=/usr/ local /sphinx- for -chinese-1.10.1 --with-mysql |
如果出现如下图所示错误,表明MySQL不是安装在默认位置,请执行下面的命令
#如果MySQL不是安装在默认位置(特别是自己编译MySQL的,请注意),请指定MySQL的相关位置,主要是MySQL的include和lib目录(Sphinx编译的时候要用到里面的.h头文件),--with-mysql-includes及--with-mysql-libs就是为了指定这两个位置的
1 | ./configure --prefix=/usr/ local /sphinx- for -chinese-1.10.1 --with-mysql-includes=/usr/ local /webserver/mysql/include/mysql --with-mysql-libs=/usr/ local /webserver/mysql/lib/mysql |
显示如下图所示内容时,表示可以接着执行下面的make及make install命令
4 | $ ls /usr/ local /sphinx- for -chinese-1.10.1/ |
如果显示bin,etc和var三个目录表示安装成功
3.让Sphinx支持中文分词
2 | $ tar zxvf xdict_1.1. tar .gz |
3 | $ /usr/ local /sphinx- for -chinese-1.10.1/bin/mkdict xdict_1.1.txt xdict_1.1 |
如果提示bin/mkdict: error while loading shared libraries: libmysqlclient.so.16等错误(以下命令中的libmysqlclient.so.16.0.0的位置取决于我们mysql编译安装的位置)
1 | ln -s /usr/ local /webserver/mysql/lib/mysql/libmysqlclient.so.16.0.0 /usr/lib/libmysqlclient.so.16 |
再次执行
1 | $ /usr/ local /sphinx- for -chinese-1.10.1/bin/mkdict xdict_1.1.txt xdict_1.1 |
3 | $ cp xdict_1.1 /usr/ local /sphinx- for -chinese-1.10.1/etc/xdict_1.1 |
4.配置Sphinx
1 | vi /usr/ local /sphinx- for -chinese-1.10.1/etc/sphinx.conf |
输入以下内容
010 | sql_user = sphinxuser |
012 | sql_pass = sphinxpass |
018 | sql_sock = /tmp/mysql.sock |
020 | sql_query_pre = SET NAMES UTF8 |
022 | sql_query = SELECT goods_id,goods_id AS goods_id_new,goods_name,goods_color,goods_name AS goods_name_search,goods_color AS goods_color_search From goods_test |
026 | sql_attr_uint = goods_id_new |
028 | sql_attr_string = goods_name |
029 | sql_attr_string = goods_color |
039 | path = /usr/ local /sphinx- for -chinese-1.10.1/var/data/goods |
051 | chinese_dictionary = /usr/ local /sphinx- for -chinese-1.10.1/etc/xdict_1.1 |
076 | log = /usr/ local /sphinx- for -chinese-1.10.1/var/log/searchd.log |
078 | query_log = /usr/ local /sphinx- for -chinese-1.10.1/var/log/query.log |
086 | pid_file = /usr/ local /sphinx- for -chinese-1.10.1/var/log/searchd.pid |
096 | mva_updates_pool = 1M |
102 | max_filter_values = 4096 |
104 | max_batch_queries = 32 |
中文在linux下可能会看到乱码,不用管
5.创建测试数据库并添加测试内容(请先连上自己的MySQL数据库)
在MySQL中执行如下命令
01 | mysql> create database sphinx collate 'utf8_general_ci' ; |
02 | mysql> grant all privileges on sphinx.* to 'sphinxuser' @ '' identified by 'sphinxpass' ; |
03 | mysql> grant all privileges on sphinx.* to 'sphinxuser' @ 'localhost' identified by 'sphinxpass' ; |
05 | mysql> CREATE TABLE IF NOT EXISTS `goods_test` ( |
06 | `goods_id` int (10) unsigned NOT NULL AUTO_INCREMENT COMMENT '商品id' , |
07 | `goods_name` varchar (255) NOT NULL COMMENT '商品名称' , |
08 | `goods_color` varchar (60) NOT NULL COMMENT '商品颜色' , |
09 | PRIMARY KEY (`goods_id`) |
10 | ) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT= '商品表,sphinx示例' AUTO_INCREMENT=11 ; |
11 | mysql> INSERT INTO `goods_test` (`goods_id`, `goods_name`, `goods_color`) VALUES |
13 | (2, '热卖时尚电脑双肩背包' , '灰色' ), |
14 | (3, '缤纷炫动时尚化妆包' , '黑色' ), |
15 | (4, '缤纷炫动时尚化妆包' , '蓝色' ), |
16 | (5, '缤纷炫动时尚化妆包' , '粉红' ), |
17 | (6, '极致性感 女款衬衫' , '黑色' ), |
18 | (7, '个性宣言 男款短袖衬衫' , '蓝色' ), |
19 | (8, '个性宣言 男款短袖衬衫' , '红色' ), |
20 | (9, '个性宣言 男款短袖衬衫' , '绿色' ), |
21 | (10, '个性宣言 男款短袖衬衫' , '黑色' ); |
好了,万事俱备了,可以开始实战操作Sphinx了
二.实战操作Sphinx
1.建立索引(如果配置文件有改动,应该重新生成索引文件,如果下面第3点中的searchd进程已经开启的话,应先关闭)
#生成goods索引[需要确保要连接的主机的MySQL数据库正常运行,并且3306端口可以访问]
1 | /usr/ local /sphinx- for -chinese-1.10.1/bin/indexer -c /usr/ local /sphinx- for -chinese-1.10.1/etc/sphinx.conf goods |
#如果配置文件里有多个索引,需要一次生成使用--all参数
1 | /usr/ local /sphinx- for -chinese-1.10.1/bin/indexer -c /usr/ local /sphinx- for -chinese-1.10.1/etc/sphinx.conf --all |
2.在linux命令行下测试搜索
1 | /usr/ local /sphinx- for -chinese-1.10.1/bin/search -c /usr/ local /sphinx- for -chinese-1.10.1/etc/sphinx.conf 个性黑色 |
搜索结果如下图示:
3.开启守护进程(供API调用,如果配置文件改动,应重新启动这个进程,不然搜到的数据不是最新)
1 | /usr/ local /sphinx- for -chinese-1.10.1/bin/searchd -c /usr/ local /sphinx- for -chinese-1.10.1/etc/sphinx.conf & |
# 防火墙需要开放9312端口供外部访问9312端口(3306是MySQL的端口)
1 | /sbin/iptables -I INPUT -p tcp --dport 3306 -j ACCEPT |
2 | /sbin/iptables -I INPUT -p tcp --dport 9312 -j ACCEPT |
3 | /etc/rc.d/init.d/iptables save |
三.外部API调用(PHP版)
注意使用时前提是执行了以上的步骤3.开启守护进程,而且防火墙也开启了9312端口
1.把/usr/local/src/sphinx-for-chinese-1.10.1-dev-r2287/api/sphinxapi.php弄出来,和下面第2点中的search.php放在同级目录(这个只是示例,放在哪里都可以,包含的时候找到正确的sphinxapi.php的位置即可)
2.编辑search.php文件,内容如下(具体内容请读者自己定,我这里只是示例)
02 | header ( 'Content-Type: text/html;charset="UTF-8"' ); |
05 | $keyword = urldecode ( trim ( strip_tags ( $_GET [ 'keyword' ] ) ) ); |
08 | require_once 'sphinxapi.php' ; |
10 | $server = '192.168.128.130' ; |
16 | $page = intval ( $_GET [ 'page' ] ) > 1 ? intval ( $_GET [ 'page' ] ) : 1; |
19 | $sphinx = new SphinxClient (); |
21 | $sphinx ->SetServer ( $server , $port ); |
23 | $sphinx ->SetConnectTimeout ( 3 ); |
25 | $sphinx ->SetMaxQueryTime ( 2000 ); |
27 | $sphinx ->SetLimits ( ( $page - 1) * $pageSize , $pageSize ); |
31 | $orgDatas = $sphinx ->Query ( $keyword , $indexName ); |
33 | $errors = $sphinx ->GetLastError (); |
36 | var_dump ( $orgDatas ); |
51 | echo '<form method="get"><input type="type" name="keyword"><input type="submit" value="商品搜索"></form>' ; |
更多详细配置请参看/usr/local/sphinx-for-chinese-1.10.1/etc/sphinx.conf.dist文件里面有包括实时索引,增量索引等很多内容,英文原版的,很详细