mysql sphinxse_sphinx+MySQL+sphinxse+mmseg

最新推荐文章于 2021-01-30 09:02:53 发布
最新推荐文章于 2021-01-30 09:02:53 发布
阅读量133 收藏
点赞数
文章标签： mysql sphinxse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_26759093/article/details/113346521
版权

Sphinx+MySQL5.1x+SphinxSE+mmseg中文分词

搜索引擎架构搭建手记

什么是Sphinx

Sphinx是一个全文检索引擎，一般而言，Sphinx是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL数据库数据源的支持，也支持从标准输入读取特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源(例如：其他类型的DBMS的原生支持)。

Sphinx的特性

 高速的建立索引(在当代CPU上，峰值性能可达到10 MB/秒);

 高性能的搜索(在2–4GB的文本数据上，平均每次检索响应时间小于0.1秒);

 可处理海量数据(目前已知可以处理超过100 GB的文本数据,在单一CPU的系统上可处理100 M文档);

 提供了优秀的相关度算法，基于短语相似度和统计(BM25)的复合Ranking方法;支持分布式搜索;

provides documentexceprts generation;

 可作为MySQL的存储引擎提供搜索服务;

 支持布尔、短语、词语相似度等多种检索模式;

 文档支持多个全文检索字段(最大不超过32个);

 文档支持多个额外的属性信息(例如：分组信息，时间戳等);

 停止词查询;

 支持单一字节编码和UTF-8编码;

 原生的MySQL支持(同时支持MyISAM和InnoDB);

原生的PostgreSQL支持.

安装

本文以CentOS5.5+mysql-5.1.55+sphinx-0.9.9(coreseek-3.2.14.tar.gz)为例介绍

Sphinx+MySQL5.1x+SphinxSE存储引擎+mmseg中文分词搜索引擎架构搭建过程。

1.安装MySQL+SphinxSE，进入软件包目录

tar zxvfmysql-5.1.55.tar.gz

tar zxvfsphinx-0.9.9.tar.gz

cp -rsphinx-0.9.9/mysqlse/ mysql-5.1.55/storage/sphinxà把sphinx的源代码复制到mysql源码中

cdmysql-5.1.55

./BUILD/autorun.sh

./configure

--prefix=/usr/local/webserver/mysql/ --enable-assembler

--with-extra-charsets=complex --enable-thread-safe-client --with-big-tables

--with-readline --with-ssl --with-embedded-server --enable-local-infile

--with-plugins=partition,innobase,myisammrg,sphinx

make

make install

#/usr/sbin/groupadd mysql

#/usr/sbin/useradd -g mysql mysql

# chmod +w/usr/local/webserver/mysql

# chown -Rmysql:mysql /usr/local/webserver/mysql

①、创建MySQL数据库存放目录

#---------------------------------+

# mkdir -p /data0/mysql/3306/data/

# chown -Rmysql:mysql /data0/mysql/

#---------------------------------+

②、以mysql用户帐号的身份建立数据表：

#---------------------------------+

#/usr/local/webserver/mysql/bin/mysql_install_db--basedir=/usr/local/webserver/mysql --datadir=/data0/mysql/3306/data--user=mysql

#---------------------------------+

③、创建my.cnf配置文件：

#--------------------------------+

# vi /data0/mysql/3306/my.cnf

#--------------------------------+

my.cnf输入以下内容:

[client]

default-character-set= utf8

port = 3306

socket =/tmp/mysql.sock

[mysql]

no-auto-rehash

[mysqld]

user = mysql

port = 3306

socket =/tmp/mysql.sock

basedir =/usr/local/webserver/mysql

datadir =/data0/mysql/3306/data

open_files_limit= 10240

back_log = 600

max_connections= 3000

max_connect_errors= 6000

table_cache =614

external=locking= FALSE

max_allowed_packet= 32M

sort_buffer_size= 2M

join_buffer_size= 2M

thread_cache_size= 300

thread_concurrency= 8

query_cache_size= 32M

query_cache_limit= 2M

query_cache_min_res_unit= 2k

default-storage-engine= MyISAM

default_table_type= MyISAM

thread_stack =192K

transaction_isolation= READ-COMMITTED

tmp_table_size= 246M

max_heap_table_size= 246M

long_query_time= 1

log_long_format

log-bin = /data0/mysql/3306/binlog

binlog_cache_size = 4M

binlog_format= MIXED

max_binlog_cache_size= 8M

max_binlog_size= 512M

expire_logs_days= 7

key_buffer_size= 256M

read_buffer_size= 1M

read_rnd_buffer_size= 16M

bulk_insert_buffer_size= 64M

myisam_sort_buffer_size= 128M

myisam_max_sort_file_size= 10G

myisam_repair_threads= 1

myisam_recover

skip-name-resolve

master-connect-retry= 10

slave-skip-errors= 1032,1062,126,1114,1146,1048,1396

server-id = 1

[mysqldump]

quick

max_allowed_packet= 32M

#--------------------------------开启MYSQL：---------------+

/usr/local/webserver/mysql/bin/mysqld_safe--defaults-file=/data0/mysql/3306/my.cnf 2>&1 > /dev/null &

#-----------------------------------------------------------+

#--------------------------------关闭MYSQL：---------------+

/usr/local/webserver/mysql/bin/mysqladmin-u root -p -S /tmp/mysql.sock shutdown

#-----------------------------------------------------------+

⑦、通过命令行登录管理MySQL服务器(提示输入密码时直接回车)：

#----------------------------------------------------------------+

#/usr/local/webserver/mysql/bin/mysql -u root -p -S /tmp/mysql.sock

#----------------------------------------------------------------+

。

安装完成启动MySQL后查看sphinx存储引擎是否安装成功

在mysql命令行下执行

show engines;

如果出现如下图红色方框内的信息说明SphinxSE已经安装成功！

ce4b90b5f329

安装Sphinx全文检索服务器

Sphinx默认不支持中文索引及检索，以前用Coreseek的补丁来解决，目前Coreseek不单独提供补丁文件，而基于sphinx开发了Coreseek全文检索服务器，Coreseek应该是现在用的最多的sphinx中文全文检索，它提供了为Sphinx设计的中文分词包LibMMSeg包含mmseg中文分词，其实coreseek-3.2.14.tar.gz中已经包含了sphinx，前面安装SphinxSE时也可以使用这个压缩包里的mysqlse。

我们来看一下的安装过程：

安装autoconf

Bzip2 –dautoconf-2.65.tar.bz2

tar xvfautoconf-2.65.tar

cdautoconf-2.65

./configure--prefix=/usr

make

make install

cd ..

安装Coreseek

tar zxvfcoreseek-3.2.14.tar.gz

cdcoreseek-3.2.14

cdmmseg-3.2.14/

./bootstrap

./configure--prefix=/usr/local/mmseg3

make

make install

cd../csft-3.2.14/

shbuildconf.sh

./configure--prefix=/usr/local/coreseek --without-python --without-unixodbc --with-mmseg--with-mmseg-includes=/usr/local/mmseg3/include/mmseg/--with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql=/usr/local/webserver/mysql--host=arm

make

make install

ln -s/usr/local/webserver/mysql/lib/mysql/libmysqlclient.so.16 /usr/lib

cd/usr/local/coreseek/etc

进入配置目录通过命令ls可以看到3个文件

example.sqlsphinx.conf.distsphinx-min.conf.dist

其中example.sql是示例sql脚本我们将其导入到数据库中的test数据库中作为测试数据(会创建两张表documents和tags)

vi sphinx.conf

输入以下内容

#定义一个数据库源，名字为src1

source src1

{

type=mysql

sql_host=localhost

sql_user=root

sql_pass=

sql_db= test

sql_port=3306# optional, default is 3306

sql_sock= /tmp/mysql.sock

sql_query_pre= SET NAMES utf8

sql_query=\

SELECT id,title,content FROM songs

sql_query_info= SELECT * FROM songs WHERE id=$id

}

#定义建立索引项

index test1

{

source=src1

path=/usr/local/coreseek/var/data/test1

charset_type= zh_cn.utf-8

charset_dictpath= /usr/local/mmseg3/etc/

}

#建索引程序的设置

indexer

{

#建索引时所用的内存限制

mem_limit=32M

}

#提供服务的进程配置

searchd

{

port=9312

log=/usr/local/coreseek/var/log/searchd.log

query_log=/usr/local/coreseek/var/log/query.log

read_timeout=5

max_children=30

pid_file=/usr/local/coreseek/var/log/searchd.pid

max_matches=1000

seamless_rotate= 1

preopen_indexes= 0

unlink_old=1

}

说明:

代码段source src1{***}代表数据源里面主要包含了数据库的配置信息，src1表示数据源名字,可以随便写。

代码段index test1{***}代表为哪个数据源创建索引,与source ***是成对出现的，其中的source参数的值必须是某一个数据源的名字。

其他参数可以查看手册，这里不再赘述。

生成索引

/usr/local/coreseek/bin/indexer-c /usr/local/coreseek/etc/sphinx.conf --all

其中参数--all表示生成所有索引

当然也可以是索引的名字例如：/usr/local/coreseek/bin/indexer-c /usr/local/coreseek/etc/sphinx.conf test1

执行后可以在/usr/local/coreseek/var/data目录中看到多出一些文件,是以索引名为文件名的不同的扩展名的文件

在不启动sphinx的情况下即可测试命令:

/usr/local/coreseek/bin/search -c/usr/local/coreseek/etc/sphinx.conf number

ce4b90b5f329

可以看到将内容中含有number数据的数据查询出来。

/usr/local/coreseek/bin/search

-c /usr/local/coreseek/etc/sphinx.conf研究生创业

ce4b90b5f329

可以看到我们输入的查询文字已经被拆分成了两个词，只是因为我们的测试数据中没有中文数据查询结果为空。我们插入几条新数据。

INSERT INTO`test`.`documents` (

`id` ,

`group_id` ,

`group_id2` ,

`date_added` ,

`title` ,

`content`

)

VALUES (

NULL , '2',

'3', '2011-02-01 00:37:12', '研究生的故事', '研究生自主创业'

), (

NULL , '1',

'1', '2011-01-28 00:38:22', '研究', '为了创业而研究生命科学'

);

我们再来看以下数据库中的主要数据

ce4b90b5f329

插入新数据后需要重新生成索引

/usr/local/coreseek/bin/indexer-c /usr/local/coreseek/etc/sphinx.conf test1

然后执行查询测试/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/sphinx.conf研究生创业

ce4b90b5f329

我们搜索的词语是“研究生创业”，可以看到词语被拆分成了研究生和创业两个词,虽然有两条记录都包含“创业和”研究生”这几个字但是“研究生命科学”中的“研究生”三个字虽然是紧挨着的但是不是一个词语，结果是只匹配一条“研究生自主创业”，我们在搜索“研究”这个词语

/usr/local/coreseek/bin/search

-c /usr/local/coreseek/etc/sphinx.conf研究

ce4b90b5f329

同样匹配一条记录，而“研究生的故事”和“研究生自主创业”的词语却没有被查询出来，可以看出sphinx与分词技术结合可以匹配出相关度更高的结果。

当然我们的目的不仅限与命令行下的测试，我们可以通过搜索API调用来执行搜索，搜索API支持PHP、Python、Perl、Rudy和Java。如果从PHP脚本检索需要先启动守护进程searchd，PHP脚本需要连接到searchd上进行检索：

/usr/local/coreseek/bin/searchd

-c /usr/local/coreseek/etc/sphinx.conf

在解压后的sphinx-0.9.9/api目录下的sphinxapi.php就是sphinx官方为我们提供的API文件(其实也可以使用PHP的sphinx扩展)，只需将其包含进自己的PHP脚本文件就可以了。

示例代码：

include('sphinxapi.php');

$cl=newSphinxClient();

//设置sphinx服务器地址与端口,如果是本机则可以为localhost

$cl->SetServer("192.168.16.6",9312);

//以下设置用于返回数组形式的结果

$cl->SetArrayResult (true);

//$cl->SetMatchMode( SPH_MATCH_ANY);//匹配模式

//$cl->SetFilter( 'group_id', array( 2 ) );

$result=$cl->Query('研究生创业','test1');//参数 关键字索引名

if($result===false) {

echo"Query failed: ".$cl->GetLastError() .".\n";

}

else{

if($cl->GetLastWarning() ) {

echo"WARNING: ".$cl->GetLastWarning() ."";

}

echo'

';

print_r($result);

}

?>

执行后的结果：

Array

(

[error] =>

[warning] =>

[status] => 0

[fields] => Array

(

[0] => title

[1] => content

)

[attrs] => Array

(

[group_id] => 1

[date_added] => 2

)

[matches] => Array

(

[5] => Array

(

[weight] => 2

[attrs] => Array

(

[group_id] => 2

[date_added] => 1296491832

)

)

)

[total] => 1

[total_found] => 1

[time] => 0.078

[words] => Array

(

[研究生] =>Array

(

[docs] => 1

[hits] => 2

)

[创业] =>Array

(

[docs] => 2

[hits] => 2

)

)

)

在matches中的就是查询结果，我们注意到sphinx是将记录中的主键ID值返回而不是返回所有数据，上面的例子中的键名5就是记录的ID(如果在查询前执行$cl->SetArrayResult

( true );则数组结构会有些许差异)。至此搜索服务器已经为我们完成了大部分工作，接下来我们通过主键ID值来查询我们想要的数据就可以了。

Sphinx存储引擎的使用

SphinxSE是一个可以编译进MySQL 5.x版本的MySQL存储引擎，它利用了该版本MySQL的插件式体系结构。尽管被称作“存储引擎”，SphinxSE自身其实并不存储任何数据。它其实是一个允许MySQL服务器与searchd交互并获取搜索结果的嵌入式客户端。所有的索引和搜索都发生在MySQL之外。

SphinxSE的适用于：

 使将MySQL FTS应用程序移植到Sphinx

 使没有Sphinx API的那些语言也可以使用Sphinx

 当需要在MySQL端对Sphinx结果集做额外处理(例如对原始文档表做JOIN，MySQL端的额外过滤等等)时提供优化。

要通过SphinxSE搜索，需要建立特殊的ENGINE=SPHINX的“搜索表”，然后使用SELECT语句从中检索，把全文查询放在WHERE子句中。

创建一张表t1

CREATE TABLEt1

(

idINTEGER UNSIGNED NOT NULL,

weightINTEGER NOT NULL,

queryVARCHAR(3072) NOT NULL,

group_idINTEGER,

INDEX(query)

)ENGINE=SPHINX CONNECTION="sphinx://localhost:9312/test1";

搜索表前三列的类型必须是INTEGER，INTEGER和VARCHAR，这三列分别对应文档ID，匹配权值和搜索查询。查询列必须被索引，其他列必须无索引。列的名字会被忽略，所以可以任意命名，参数CONNECTION来指定用这个表搜索时的默认搜索主机、端口号和索引，语法格式：CONNECTION="sphinx://HOST:PORT/INDEXNAME"。

执行SQL语句select d.id,d.title,d.content from t1 join documents as d on t1.id

= d.id and t1.query = '研究生创业';

+----+--------------------+-----------------------+

| id |title| content|

+----+--------------------+-----------------------+

|5 |研究生的故事|研究生自主创业|

+----+--------------------+-----------------------+

1 row in set(0.04 sec)

结果返回了我们想要的数据，可见利用SphinxSE可以仅仅在SQL语句上做很小的改动即可很方便的实现全文检索！

主索引+增量索引

前提：数据不会被改变

第一步：建表：(用来存索引过的最大的记录id)

Create table a

{

Id int unsigned not nullprimary key,

Max_idint unsigned,

}

第二步：修改配置文件为：见sphinx配置文件.doc

第三步：先执行./bin/indexer–c ./etc/sphinx.conf –test1生成所有的索引－〉一个数据源的主查询，只有第一次执行

第四步：定期执行：./bin/indexer–c./etc/sphinx.conf delta --rotateà生成增量的索引文件

第五步：合并到主索引中./bin/indexer –merge test1 delta –c ./etc/sphinx.conf --rotate

美自
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sphinxSE的实现原理和应用
洋葱的专栏
05-04 1万+
coreseek, sphinx , sphinxse, 搜索
搭建Sphinx+MySQL5.1x+SphinxSE+mmseg中文分词搜索引擎架构
03-07
搭建Sphinx+MySQL5.1x+SphinxSE+mmseg中文分词搜索引擎架构 概述：本资源旨在介绍搭建Sphinx+MySQL5.1x+SphinxSE+mmseg中文分词搜索引擎架构的过程，涵盖了Sphinx的基本概念、特性、安装和配置 MySQL+SphinxSE存储...
MySQL 存储引擎 (SphinxSE)安装详解
神技圈子的博客
02-19 5128
sphinxSE是一个mysql存储引擎，它可以编译进入mysql server之中，但必须版本是5.x(5.0.22或者5.0.x更高版本,5.1.12或者更高但5.1.x),在这里我采用的是5.1.55,Sphinx版本是coreseek-3.2.14，注意5.0.x的安装方式不一样，虽然是一个搜索引擎但是SphinxSE本身不存储数据，它是一个内置的客户端，允许mysql服务器与Sphinx...
mysql sphinxse_SphinxSE的安装
weixin_28867991的博客
01-26 120
SphinxSE是一个可以编译进MySQL5.x版本的MySQL存储引擎，尽管被称作“存储引擎”，SphinxSE自身其实并不存储任何数 据。它其实是一个允许MySQL服务器与searchd交互并获取搜索结果的嵌入式客户端,所有的索引和搜索都发生在MySQL之外。它有一个很大的特点呢，就是如果不支持Sphinxapi的语言，也可以使用Sphinx，理论上说，Sphinapi能做的，SphinxS...
Centos+Mysql+sphinx+mmseg(rhel4) [收藏]
斯人博客|PHP高级教程|C++|Javascript
03-15 2280
<br />一、所需文件列表<br />mmseg-0.7.3.tar.gz                             中文分词    <br />mysql-5.1.26-rc.tar.gz                        mysql-5.1.26源代码<br />sphinx-0.9.8-rc2.tar.gz                     sphinx-0.9.8-rc2源代码<br />fix-crash-in-excerpts.patch            
SphinxSE检索语法
huanghuitan的博客
03-03 852
SphinxSE检索语法
ha_sphinx for mysql5.5.29
01-28
SphinxSE（Sphinx Storage Engine）是将Sphinx的搜索能力内嵌到MySQL中的一个插件，允许用户直接在SQL查询中使用Sphinx的搜索语法，提高了数据查询和处理的效率。通过ha_sphinx.dll文件，MySQL能够识别并加载这个...
基于Sphinx+MySql+Python的站内搜索引擎的设计与实现.zip
10-16
在设计阶段，我们需要理解Sphinx的主要组成部分，如索引器（SphinxSE）用于创建和更新索引，搜索守护进程（searchd）负责处理搜索请求。通过配置文件，我们可以定制索引设置，如字符集、字段类型、排序规则等。 ...
mysql sphinxse_centos sphinx mysql安装配置sphinxse及全文索引的简单实现
weixin_30667487的博客
01-19 95
以下步骤以linux centos5.3系统下为基础1.安装centos5.3，步骤省略(网上教程大把)。不过要提醒大家一句的就是安装系统自带软件时最好不要选mysql要不然你会很麻烦的，不多说了，你懂的。2.通过yum命令安装必须的环境软件。yum install gcc gcc-c++ libtool autoconf automake imake mysql-devel libxml2-de...
sphinx2.0.6 sphinxSE 中文手册
01-11
sphinx2.0.6, sphinxSE, 中文手册
sphinxSE中文手册2 for sphinx 2.03
01-25
此版对weights和groupsort的用法进行了更细的解释。
mysql ha sphinx.so_为 MySQL 5.5.x 编译安装 SphinxSE
weixin_29260291的博客
01-27 101
首先：关于什么是SphinxSE，请前往学习了解；如果需要Windows版本，请前往查看下载。然后，你可以从头全新编译安装MySQL，并启用SphinxSE存储插件；也可以将该插件安装到已经安装的MySQL中。请仔细查看下面的文档，选择适合自己的安装方式一或者安装方式二。coreseek-4.0.1-beta开始，已经提供了对MySQL5.5.8及以上版本的支持。如果使用Sphinx原始SVN版本...
sphinx系列之mysql安装sphinxse支持 热插拔安装法
lyd518的专栏
07-27 753
看到大家都在玩sphinx（全文搜索引擎），你是否也心痒痒呢？但你又不想重新编译安装mysql，怎么办？ 很好，如果你的mysql版本在5.0.45以上就还有的救，5.0以下版本就不要做梦了在现有mysql中安装sphinx的存储引擎，要保证现有mysql运行的情况下完成。mys
为 MySQL 5.5.x 编译安装 SphinxSE
经验之谈，不做搬运工
06-19 174
原文：http://www.coreseek.cn/products-install/mysql5-5-sphinxse/   首先：关于什么是SphinxSE，请前往学习了解；如果需要Windows版本，请前往查看下载。  然后，你可以从头全新编译安装MySQL，并启用SphinxSE存储插件；也可以将该插件安装到已经安装的MySQL中。  请仔细查看下面的文档，选择适...
MySQL使用sphinxSE连接SPHINX引擎时的问题
bigftao的博客
09-18 430
在MySQL中使用sphinxSE连接sphinx引擎时可能报如下错误： ERROR 1429 (HY000): Unable to connect to foreign data source: failed to connect to searchd (host=x.x.x.x, errno=13, port= 在保证searchd服务正常启动以及防火墙端口以开放的情况下，如果仍然有此错误则可能是SELinux安全问题。可以尝试如下命令： setsebool -P mysql_connect_any
Sphinx API类型以及SphinxSE实现原理分析
Jucrazy_技术人生
09-01 6926
Sphinx comes with three different APIs, SphinxAPI, SphinxSE, and SphinxQL. SphinxAPI is a native library available for Java, PHP, Python, P
mysql sphinx 引擎_Sphinx作为MySQL存储引擎（SphinxSE）
weixin_35671110的博客
01-19 142
Sphinx作为MySQL存储引擎(SphinxSE)作者Nedim Hadzimahmutovic 版本：v1.0最后变动：2010年5月9日SphinX是MySQL的一个很棒的全文搜索引擎。 安装Sphinx守护程序很简单，因为您可以从源代码编译或使用.DEB / .RPM包，但是SphinxSE有点棘手，因为它需要作为一个插件安装在正在运行的MySQL服务器上。所以如果你使用Debian或C...
mysql sphinxse_sphinx系列之mysql和sphinxSE安装(一)
weixin_32584807的博客
01-27 95
groupaddmysql#添加mysql用户组useradd-gmysqlmysql#创建mysql用户并把它放到mysql组下chown-Rroot:mysql/usr/local/mysql#修改mysql文件属性/usr/local/mysql/bin/mysql_install_db--user=mysql--dadadir=/usr/local/mysql/var#初始化数据库...
sphinx和mysql的关系_Mysql+sphinx participle
weixin_42373103的博客
01-30 521
一、编译先前条件确认是否已经安装以下软件,有些也许不是必须的,但建议还是都装上。apt-get install autoconf automake autotools-dev cpp curl gawk gcc lftp libc6-dev linux-libc-dev make libpcre3-dev libpcrecpp0 g++ libtool libncurses5-devaptitud...
Sphinx搜索引擎架构与MySQL集成教程(1.1版)
2. **MySQL+Sphinx+SphinxSE安装步骤**： - 安装基础环境：首先安装Python支持，然后编译安装LibMMSeg（用于中文分词）和MySQL 5.1.26。 - 索引和数据文件组织：定义专门的目录结构用于存储Sphinx索引文件和MySQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值