sphinx+php+脚本,coreseek+php之sphinx扩展安装+php调用示例

[参考资料](https://blog.csdn.net/moqiang02/article/details/42027243)

[关于排序和分而已,及sphinxapi.php的调用](https://blog.csdn.net/joyatonce/article/details/52059564)

首先了解sphinx是什么?

他是一个服务,用于搜索的服务,也可以说是一个搜索引擎,

如果使用搜索引擎,必须开启他的服务,

其次在api根据端口号启用服务,并传入关键字

注意在thinkphp中在new对象的时候要加\,

如下:

public function test()

{

$cl=new \SphinxClient();

$cl->SetServer('127.0.0.1',9312);

$cl->SetArrayResult(true);

$cl->SetMatchMode(SPH_MATCH_ANY);

$cl->SetLimits(0,12);

$index_name="dizhi";

$key="经营部";

$this->s_keywords=$key;

$this->s_index=$index_name;

$this->h_cl=$cl;

$this->h_opts= array(

"before_match" => "",

"after_match" => "",

"chunk_separator" => "

",

//            "limit" => 6,

//            "around" =>3

);

$res=$cl->Query($key,$index_name);

$ids=array_column($res['matches'],"id");

//        var_dump($ids);

$m=M();

$where['id']=array("in",$ids);

$res=$m->table("address")->where($where)->select();

//BuildExcerpts ( $docs, $this->s_index, $this->s_keywords, $this->h_opts);

foreach ($resas $k=>$v){

$res[$k]=$cl->BuildExcerpts ( $v, $this->s_index, $this->s_keywords, $this->h_opts);

}

//        var_dump($res);

$this->assign("res",$res);

$this->display("");

}

-------------------------------------方法结束

第二点要注意的是,在search.exe中是不能搜索中文的,但是可以用英文和数字测试是否可用,

返回的weight和size,就有ip,根据ip去验证;

下面附上常用命令

indexer.exe -c D:\project\coreseek\sphinx.conf zhilian //生成索引文件

search.exe -c D:\mysoftware\coreseek-3.2.14-win32\sphinx.conf redis    //查询redis的数目

D:\mysoftware\coreseek-3.2.14-win32\bin>indexer.exe -c D:\mysoftware\coreseek-3.

2.14-win32\sphinx.conf --merge zhilian  add_zhilian  --rotate //合并索引

-c 执行  配置目录  索引文件名称

D:\project\coreseek\bin>searchd.exe  --install  -c  D:\mysoftware\coreseek-3.2.14-win32\sphinx.conf        //安装服务器

sc delete searchd//删除服务

replace into a select 1,max(id) from zhilian;//记录生成的最大id数

D:\mysoftware\coreseek-3.2.14-win32\bin>indexer.exe -c D:\mysoftware\coreseek-3.

2.14-win32\sphinx.conf --merge zhilian  add_zhilian  --rotate//合并索引

D:\mysoftware\coreseek-3.2.14-win32\bin>indexer.exe -c D:\mysoftware\coreseek-3.

2.14-win32\sphinx.conf add_zhilian  //生成新增数据的索引

///一定要注意  searchd是否启动服务

sphinx与mysql的配置

创建sphinx统计表，在coreseek_test库中执行。

CREATETABLEsph_counter

(

counter_idINTEGERPRIMARYKEYNOTNULL,

max_doc_idINTEGERNOTNULL

);

创建配置sphinx与mysql的配置文件

# vi /usr/local/coreseek/etc/csft_mysql.conf

#MySQL数据源配置，详情请查看：http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#conf-reference

#源定义

source main

{

type                    = mysql

sql_host                = localhost

sql_user                = root

sql_pass                = 123456

sql_db                  = coreseek_test

sql_port                = 3306

sql_query_pre          = SET NAMES utf8

sql_query_pre          = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company;

sql_query              = SELECT * FROM hr_spider_company WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) #sql_query第一列id需为整数

#title、content作为字符串/文本字段，被全文索引 (注：执行报错的话把下面的几行注释掉)

sql_attr_uint            = id                        #从SQL读取到的值必须为整数

sql_attr_uint            = from_id                #从SQL读取到的值必须为整数，不支持全文检索

sql_attr_uint            = link_id                #从SQL读取到的值必须为整数，不支持全文检索

sql_attr_uint            = add_time                #从SQL读取到的值必须为整数，不支持全文检索

sql_field_string        = link_url                #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string        = company_name          #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string        = type_name            #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string        = trade_name            #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string        = email                #字符串字段(可全文搜索，可返回原始文本信息)

sql_field_string        = description            #字符串字段(可全文搜索，可返回原始文本信息)

sql_query_info_pre      = SET NAMES utf8        #命令行查询时，设置正确的字符集

sql_query_info          = SELECT id,from_id,link_id,company_name,type_name,trade_name,address,description, FROM_UNIXTIME(add_time) AS add_time  FROM hr_spider_company  WHERE id=$id                    #命令行查询时，从数据库读取原始数据信息

}

source delta : main

{

sql_query_pre          = SET NAMES utf8

sql_query              = SELECT * FROM hr_spider_company WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )

sql_query_post_index    = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company

}

#index定义

index main

{

source                = main  #对应的source名称

path                  = /usr/local/coreseek/var/data/mysql  #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

docinfo              = extern

mlock                = 0

morphology            = none

min_word_len          = 1

html_strip            = 0

#中文分词配置，详情请查看：http://www.coreseek.cn/products-install/coreseek_mmseg/

charset_dictpath    = /usr/local/mmseg3/etc/          #BSD、Linux环境下设置，/符号结尾

charset_type        = zh_cn.utf-8

}

index delta : main

{

source          = delta

path            = /usr/local/coreseek/var/data/delta

}

#全局index定义

indexer

{

mem_limit            = 128M

}

#searchd服务定义

searchd

{

listen              = 9312

read_timeout        = 5

max_children        = 30

max_matches        = 1000

seamless_rotate    = 0

preopen_indexes    = 0

unlink_old          = 1

pid_file    = /usr/local/coreseek/var/log/searchd_mysql.pid  #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

log          = /usr/local/coreseek/var/log/searchd_mysql.log  #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

query_log    = /usr/local/coreseek/var/log/query_mysql.log    #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...

binlog_path  =                                                #关闭binlog日志

}

我的测试表名为hr_spider_company，你只需要根据实际需求更改为自己的表名即可。

调用命令列表：

启动后台服务(必须开启)

# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf

执行索引(查询、测试前必须执行一次)

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

执行增量索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate

合并索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0

(为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0)

后台服务测试

# /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf  aaa

关闭后台服务

# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop

自动化命令：

crontab -e

*/1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate

*/5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0

30 1 * * *  /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

以下任务计划的意思是：每隔一分钟执行一遍增量索引，每五分钟执行一遍合并索引，每天1:30执行整体索引。

Coreseek官方教程中建议php使用直接include一个php文件进行操作，事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx！)已经进入了php的官方函数库，而且效率的提升不是一点点！但php模块依赖于libsphinxclient包。

[第一步] 安装依赖libsphinxclient

# cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/

# ./configure  --prefix=/usr/local/sphinxclient

configure: creating ./config.status

config.status: creating Makefile

config.status: error: cannot find input file: Makefile.in  #报错configure失败

//处理configure报错

编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误，然后运行下列指令再次编译就能通过了：

# aclocal

# libtoolize --force

# automake --add-missing

# autoconf

# autoheader

# make clean

//从新configure编译

# ./configure

# make && make install

[第二步] 安装sphinx的PHP扩展

http://pecl.php.net/package/sphinx

# wget http://pecl.php.net/get/sphinx-1.3.0.tgz

# tar zxvf sphinx-1.3.0.tgz

# cd sphinx-1.3.0

# phpize

# ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient

# make && make install

# cd /etc/php.d/

# cp gd.ini  sphinx.ini

# vi sphinx.ini

extension=sphinx.so

# service php-fpm restart

打开phpinfo看一下是否已经支持了sphinx模块。

$s =newSphinxClient;

$s->setServer("127.0.0.1",9312);

$s->setMatchMode(SPH_MATCH_PHRASE);

$s->setMaxQueryTime(30);

$res = $s->query("宝马",'main');#[宝马]关键字，[main]数据源source

$err = $s->GetLastError();

var_dump(array_keys($res['matches']));

echo"

"."通过获取的ID来读取数据库中的值即可。"."

";

echo'';

var_dump($res);

var_dump($err);

echo'';

调用示例二：支持分页

header("Content-type: text/html; charset=utf-8");

require("./sphinxapi.php");

$s =newSphinxClient;

$s->setServer("192.168.252.132",9312);

//SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询

$s->setMatchMode(SPH_MATCH_ALL);

$s->setMaxQueryTime(30);//设置最大搜索时间

$s->SetArrayResult(false);//是否将Matches的key用ID代替

$s->SetSelect ("*");//设置返回信息的内容,等同于SQL

$s->SetRankingMode(SPH_RANK_BM25);//设置评分模式，SPH_RANK_BM25可能使包含多个词的查询的结果质量下降。

//$s->SetSortMode(SPH_SORT_EXTENDED);                //发现增加此参数会使结果不准确

//$s->SetSortMode(SPH_SORT_EXTENDED,"from_id asc,id desc");  //设置匹配项的排序模式, SPH_SORT_EXTENDED按一种类似SQL的方式将列组合起来，升序或降序排列。

$weights =array('company_name'=>20);

$s->SetFieldWeights($weights);//设置字段权重

$s->SetLimits (0,30,1000,0);//设置结果集偏移量  SetLimits (便宜量,匹配项数目,查询的结果集数默认1000,阀值达到后停止)

//$s->SetFilter ( $attribute, $values, $exclude=false );    //设置属性过滤

//$s->SetGroupBy ( $attribute, $func, $groupsort="@group desc" );    //设置分组的属性

$res = $s->query('@* "汽车"','main','--single-0-query--');#[宝马]关键字，[news]数据源source

//代码高亮

$tags =array();

$tags_name =array();

foreach($res['matches']as$key=>$value){

$tags[] = $value['attrs'];

$company_name[] = $value['attrs']['company_name'];

$description[] = $value['attrs']['description'];

}

$company_name = $s->BuildExcerpts ($company_name,'main','汽车', $opts=array() );//执行高亮，这里索引名字千万不能用*

$description = $s->BuildExcerpts ($description,'main','汽车', $opts=array() );//执行高亮，这里索引名字千万不能用*

foreach($tagsas$k=>$v)

{

$tags[$k]['company_name'] = $company_name[$k];//高亮后覆盖

$tags[$k]['description'] = $description[$k];//高亮后覆盖

}

// 高亮后覆盖

$i =0;

foreach($res['matches']as$key=>$value){

$res['matches'][$key] = $tags[$i];

$i++;

}

$err = $s->GetLastError();

echo'';

var_export($res);

var_export($err);

echo'';

******************************************************************************************************************

错误：FATAL: failedto lock pid file '/home/zhangjie_z.pt/local/sphinx/var/log/searchd.pid':Resource temporarily unavailable (searchd alrecoreseek+php之sphinx扩展安装+php调用示例 - CSDN博客ady running?)

意思就是你已经打开了一个search进程，你需要找到相关进程号ps -e|grep searchd，然后kill PID杀死之前的进程，再启动新进程)

启动 searchd 服务时提示如下错误：

index 'test1': search error: failed to open /var/lib/sphinx/test1.sph: sphinx 错误解决 index 'test1': search error: failed to open /var/lib/sphinx/test.sph:No such file or directory; NOT SERVING

这个错误可能是没有建立好索引导致的，所以 indexer --all 很重要

关于coressek的相关笔记整理如下:

讯搜可以替代coreseek