一:什么是sphinx ?
Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口,如PHP,Python,Perl,Ruby等,同时为MySQL也设计了一个存储引擎插件。
Sphinx 单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级)。Sphinx创建索引的速度为:创建100万条记录的索引只需 3~4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建一次只需几十秒。
Sphinx的主要特性包括:
- 高速索引 (在新款CPU上,近10 MB/秒);
- 高速搜索 (2-4G的文本量中平均查询速度不到0.1秒);
- 高可用性 (单CPU上最大可支持100 GB的文本,100M文档);
- 提供良好的相关性排名 支持分布式搜索; 提供文档摘要生成;
- 提供从MySQL内部的插件式存储引擎上搜索 支持布尔,短语, 和近义词查询;
- 支持每个文档多个全文检索域(默认最大32个);
- 支持每个文档多属性;
- 支持断词;
- 支持单字节编码与UTF-8编码;
扩展:lucence提供同sphinx一样的全文搜索功能。
二:什么时候使用?
在MYSQL中当对一个文本类型的字段进行LIKE 并以%开头的查询时,会进行全表扫描。
比如我们商品中有商品500万件。如果我们要搜索商品名称中带红色的,如果不用SPHINX肯定是这样写:
SELECT * FROM php34_goods WHERE goods_name LIKE ‘%红色%’;
这条SQL会进行全表扫描,所以性能非常慢,查询速度非常慢。
当一个功能需要对表中text,varchar等文本类型的字段进行LIKE 查询时,如(根据歌词搜索歌曲这个功能)MYSQL是全表扫描非常慢,需要使用SPHINX:
三:sphinx的使用方式:
sphinx有两种使用方法:
用法一、SPHINX和mysql是两个独立的服务器
流程:
- PHP要先把要搜索的短语发给SPHINX服务器,SPHINX返回的是记录的ID
- PHP 再使用sphinx返回的ID查询数据库
用法二、shpinxSE:把SPHINX集成到MYSQL里去(没有单独的shpinx服务器)
PHP只需要写一个SQL语句即可,不用很管SPHINX,MYSQL会自己连接查询sphinx。如果要使用这种需要在LINUX下重新编译MYSQL,把SPHINX当成插件编译到MYSQL中去。
四:spinx 安装
第一种方法安装:
需要软件:
1:sphinx服务器端程序源码包:sphinx-2.2.10-release.tar.gz
下载地址:wget http://sphinxsearch.com/files/sphinx-2.2.10-release.tar.gz
2:PHP的Sphinx模块 :sphinx-1.3.3.tgz
下载地址:wget http://pecl.php.net/get/sphinx-1.3.0.tgz
安装步骤:
1:服务器端程序安装
tar -zxvf sphinx-2.2.10-release.tar.gz
cd sphinx-2.2.10-release
./configure --prefix=/usr/local/sphinx-2.2.10 --with-mysql=/usr/local/mysql/
make && make install
//编辑配置文件sphinx.conf
cd /usr/local/sphinx-2.2.10/etc/
cp sphinx-min.conf.dist sphinx.conf
vi sphinx.conf
sphinx的配置文件在配置的时候容易出错,要先理解这几个概念:
- source:数据源,数据是从什么地方来的。
- index:索引,当有数据源之后,从数据源处构建索引。索引实际上就是相当于一个字典检索。有了整本字典内容以后,才会有字典检索。
- Searchd:提供搜索查询服务。他一般是以deamon的形式运行在后台的。
- Indexer:构建索引的服务。当要重新构建索引的时候,就是调用indexer这个命令。
- attr:属性,属性是存在索引中的,它不进行全文索引,但是可以用于过滤和排序。
//编辑完配置 文件后,接着创建 test 数据库,并把sphinx 配置文件夹下的 example.sql 导入到数据库中。
/usr/local/mysql/bin/mysql -uroot -p123456
mysql>create database test;
mysql>use test;
mysql> source /usr/local/sphinx-2.2.10/etc/example.sql
// 建立sphinx 的索引文件
/usr/local/sphinx-2.2.10/bin/indexer -c /usr/local/sphinx-2.2.10/etc/sphinx.conf --all --rotate
这一步骤可能会出现错误:usr/local/sphinx/bin/indexer:error while loading shared libraries:libmysqlclient.so.18 cannot opent shared object file: No such file or directory
// 由于sphinx 默认去找的mysql是mysql一般默认的安装路径,我的mysql是安装在自己定义的位置,所以这地方要做个软连接.
ln -s /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18
创建索引命令:Iindexer 参数
-c 指定配置文件
–all 对所有索引从新编制索引。
–rotate 用于轮换索引,主要是在不停止服务的情况下,增加索引。
–merge 合并索引
//继续运行上一步骤:
/usr/local/sphinx-2.2.10/bin/indexer -c /usr/local/sphinx-2.2.10/etc/sphinx.conf --all --rotate
//如果创建的索引文件比较多而又不需要全部重新生成索引,可以单独运行
/usr/local/sphinx-2.2.10/bin/indexer -c /usr/local/sphinx-2.2.10/etc/sphinx.conf test1
/usr/local/sphinx-2.2.10/bin/indexer -c /usr/local/sphinx-2.2.10/etc/sphinx.conf testrt
//接下来 启动sphinx的服务守护进程:searchd.
/usr/local/sphinx-2.2.10/bin/searchd -c /usr/local/sphinx-2.2.10/etc/sphinx.conf
如果以前有运行过 这个服务,会报错.
可以使用 --stop 参数来停止searchd服务。
//再运行一遍上面searchd命令:
/usr/local/sphinx-2.2.10/bin/searchd -c /usr/local/sphinx-2.2.10/etc/sphinx.conf
至此,服务器端配置完成。
2:php 安装sphinx扩展模块。
注意:PHP模块需要 libsphinxclient支持,否则会报错。
// libsphinxclient 文件存在于 服务器端源码文件( sphinx-2.2.10-release)的 api文件夹内。
cd api/libsphinxclient
./configure –prefix=/usr/local/sphinx-2.2.10 (prefix前面为单个-)
make && make install
//进入扩展模块源码文件所在文件夹。
//解压扩展模块源码文件。
tar zxf sphinx-1.3.3.tgz
cd sphinx-1.3.3
//运行phpize命令,生成.configure文件。
/usr/local/php/bin/phpize
//配置参数。
./configure --with-php-config=/usr/local/php/bin/php-config --with-sphinx=/usr/local/sphinx-2.2.10/
make && make install
// 至此,扩展模块sphinx.so文件生成完成。
//配置 php.ini文件,加载sphinx扩展。
vi /usr/local/php/lib/php.ini
// 在文件末尾添加:shpinx.so模块。
[sphinx]
extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/sphinx.so
//查看sphinx模块是否安装成功。
/usr/local/php/bin/php -m
//重启apache 服务器
/usr/local/http2/bin/apachectl restart
编辑index.php文件,添加 phpinfo()函数, 查看sphinx是否成功安装。
至此 php 的sphinx模块测试完成。
五:php 代码测试sphinx.
至此 ,sphinx 在centos6.5版的基本安装,基础测试完成,后续还有通过 CoreSeek的实现中文查找的安装测试。