手把手搭建sphinx环境

原文地址：http://blog.csdn.net/uestc_huan/article/details/6562763


手把手搭建sphinx 环境 1
一．概述 1
二．虚拟机的搭建 2
1. 安装 virtualbox 2
2. 准备 suse 的安装环境 2
3. 安装 suse 4
4. 配置共享文件夹 5
5. 设置网络 7
三．Mysql 的安装 8
1. 获取 mysql 源代码 8
2. 获取 sphinx 源码 9
3. 增加 sphinxSE 引擎 9
4. 配置编译 9
5. 启动和测试 9
6. 系统自动启动 mysql 10
四．Sphinx 的搭建 10
1. 解压 coreseek 10
2. 首先安装MMSeg: 10
3. 安装 coreseek 10
4. 配置自动启动 11
五．测试 11
1. 创建数据库 11
2. 创建 sphinx 引擎表格 12
3. 创建 sphinx 配置文件 13
4. 建立索引 19
5. 运行 sphinx 服务器 19
6.查询测试 19
六． 进一步参考 19



一．概述
Sphinx是一个在 GPLv2 下分发的全文检索引擎； Coreseek 是一个可供企业使用的、基于 Sphinx （可独立于 Sphinx 原始版本运行）的中文全文检索引擎，按照 GPLv2 协议发行。
一般而言，Sphinx 是一个独立的全文搜索引擎；而 Coreseek 是一个支持中文的全文搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的中文全文搜索能力。 Sphinx/Coreseek 可以非常容易的与 SQL 数据库和脚本语言集成。

本文介绍的是基于window XP 下的虚拟机环境搭建 sphinx 测试环境。使用的各软件版本如下，其他版本如有区别，请参考其他文献或代码。
coreseek-4.0.1-beta.tar.gz
VirtualBox-3.2.10-66523-Win.exe
mysql-5.1.56.tar.gz
openSUSE-11.3-DVD-i586.iso


二．虚拟机的搭建
1. 安装 virtualbox
双击，一路选择next 即可。

2. 准备 suse 的安装环境
（1 ）新建一个虚拟机
(之前我建立了一个 opensuse 的虚拟机，这次建一个叫做 suse 的虚拟机。 )


(2) 创建一个新的虚拟硬盘

(3) 选择磁盘空间分配方式






(4) 分配磁盘空间大小
磁盘空间大小，建议不要小于15G 空间，建议使用 20G 或者以上。以备后期使用。






3. 安装 suse
（1 ）用虚拟光驱加载 openSUSE-11.3-DVD-i586.iso ，
（2 ）启动刚才建立的虚拟机



(3)安装 suse
跟正常安装linux 一样安装 suse 。
注意一点就是选择需要安装的软件。建议把开发软件全装上吧。根目录的空间分配要大一些。以备后面开发使用，免得来回折腾安装缺失的软件。下图就是选择需要安装软件的界面截图。




4. 配置共享文件夹
共享文件夹用于在虚拟机suse 上和宿主机 windowXP 之间共享传递文件，两个操作系统都能看见这个共享目录下的文件。
（1 ）在 virtualbox 配置共享文件夹
在宿主机window xp 下创建共享目录 D:/share 。
关闭suse ，在 virtualBox 选择 suse, 右键选择设置 -> 数据空间 -> 固定分配， 选择共享目录 D:/share 。


（2） 修改 virtualbox的光驱配置
启动suse ，在菜单 " 设备 " — >" 分配光驱 " 中，选择 VBoxGuestAddiitions.iso 。


(3)在虚拟机上安装 virtualbox 增强工具
重启suse, 在主菜单中选择 computer, 挂载 VBOXADDITIONS_3.0.12_54655 。


cd /media, 可以看到 VBOXADDITIONS_3.0.12_54655 增强软件包的光盘。
用root 运行 VBoxLinuxAdditions-x86.run
重启

(3)在虚拟机上加载共享文件夹
mkdir /mnt/share; mount -t vboxsf share /mnt/share， 这个时候就可以看到共享文件夹了。
suse可以在 /etc/init.d/boot.local 中添加 /bin/mount -t vboxsf share /mnt/share 让它启动时候自动加载。
但在/etc/fstab 中添加没有用，因为系统调用 fstab 的时候， Virtualbox 的共享目录的模块还没有加载，每次加载都会失败。


5. 设置网络
打开虚拟机suse 的浏览器，设置浏览器的网络链接代理，因为公司必须使用网络代理才能上网，所以必须设置。设置网络浏览器使用脚本 http://txp-01.tencent.com/lvsproxy.pac 。这个时候就可以正常上网了。






三．Mysql 的安装
1. 获取 mysql 源代码
直接在虚拟机上上网下载也可以，或者将window xp 中下载的 mysql-5.1.56.tar.gz 拷贝到共享目录中 (D:/share) ，然后在虚拟机上的共享目录 (/mnt/share ）目录下，拷贝到你的目录（假如为 /home/software ）中。
用tar xvfz mysql-5.1.56.tar.gz 解压。

2. 获取 sphinx 源码
跟获取mysql 类似。解压在 /home/software 目录下。之所以在这里预先获取 sphinx 的源码，是因为想给 mysql 预先建立 sphinxSE 的引擎。
Tar xvfz coreseek-4.0.1-beta.tar.gz

3. 增加 sphinxSE 引擎
将coreseek-xxx/csft-xxx/mysqlse 目录下的文件拷贝到 mysql/storage/sphinx 目录下。
cp -r /home/software/coreseek-4.0.1-beta/csft-4.0.1/mysqlse /home/software/mysql-5.1.56/storage/sphinx

4. 配置编译
依次执行下面命令
sh BUILD/autorun.sh
Mkdir -p /home/sphinx/var/data
mkdir -p /var/log/mysql
mkdir -p /var/lib/mysql
mkdir -p /var/run/mysql
./configure --with-plugins=all --prefix=/usr/local/mysql5.1.56/ --with-charset= gbk --localstatedir=/ home/sphinx/var/data
Make
Make install

(1)关于上面几个目录的说明：
/var/下面的几个目录，是因为 /etc/my.cfg 里面设置的几个目录。你可以根据自己需要去修改 my.cfg 的路径，或者干脆就自己建立这几个目录让 mysql 使用，而不去修改 my.cfg 文件。
(2)关于 configure 的配置选项的说明：
--localstatdir是用来避免权限问题，其他选项 分别支持innodb 和 sphinx 驱动，同时跟 os 自带的 mysql 分开，支持 gbk 编码。自己可以根据需要适当修改。


5. 启动和测试
/usr/local/mysql5.1.56/bin/mysqld_safe &
连接命令：
Mysql
show engines; 检查是否有 sphinx 引擎。
如果启动mysql 有问题，可以用下面命令手动启动，检查对应的错误日志，根据错误日志定位问题。有一个常见的问题，是之前系统安装的时候自动安装了 mysql ，新安装的 mysql 两者有冲突，导致某些表不在配置文件的路径下，报找不到数据表的错误。如果这个错误，可以在用 /usr/local/mysql-5.1.56/bin/mysql_install_db 命令重建缺省的数据库。
/usr/local/mysql5.1.56/libexec/mysqld --basedir=/usr/local/mysql5.1.56 --datadir=/var/lib/mysql --user=mysql --log-error=/var/log/mysql/mysqld.log --pid-file=/var/lib/mysql/linux-6ky2.pid --socket=/var/run/mysql/mysql.sock --port=3306
其他可能错误请自行google.
6. 系统自动启动 mysql
在/etc/rc.d/boot.local 中加入 mysql 的启动。加入下面一行。
/usr/local/mysql5.1.56/libexec/mysqld --basedir=/usr/local/mysql5.1.56 --datadir=/var/lib/mysql --user=mysql --log-error=/var/log/mysql/mysqld.log --pid-file=/var/lib/mysql/linux-6ky2.pid --socket=/var/run/mysql/mysql.sock --port=3306 &
注意如果boot.local 启动错误，有可能导致系统启动不起来。这点很恶心。如果发生这种错误，就用安装盘，从安装盘进入 rescue 模式，然后用 fdisk -l 查看你的硬盘的分区号，这里假定是 /dev/sda2. 用命令 mount /dev/sda2 /mnt/ 挂载，然后 vi /mnt/etc/rc.d/boot.local 进行修改。



四．Sphinx 的搭建
1. 解压 coreseek
如果在安装 mysql已经解压了，直接进入解压以后的目录即可。
$ tar xzvf coreseek-3.2.14.tar.gz
$ cd coreseek
2. 首先安装MMSeg:
在 mmseg的目录下 依次运行下面命令
libtoolize --force
aclocal
automake --add-missing
autoconf
autoheader
make clean
./configure
Make
Make install

3. 安装 coreseek
$ ./configure
configure程序有很多运行选项。完整的列表可以通过使用 --help 开关得到。最重要的如下：
· --prefix, 定义将 Coreseek 安装到何处 ; 比如 --prefix=/usr/local/coreseek ( 以下全部示例都假定 Coreseek 安装在这个位置 )
· --with-mysql, 当自动检测失败时，指出在那里能找到 MySQL 头文件和库文件 ;
· --with-pgsql, 指出在那里能找到 PostgreSQL 头文件和库文件 .
· --with-mmseg, 启用基于 MMSeg 的中文分词法，并指出在那里能找到 MMSeg 头文件和库文件 .
· --with-python, 启用 Python 数据源支持 . 需要预先安装 Python2.6.
编译源代码生成二进制程序:
$ make
安装二进制程序到你设定的目录下: ( 类 Unix 操作系统下默认为 /usr/local/bin/ , 但是可以被 configure --prefix) 修改安装目录
$ make install


4. 配置自动启动
在/etc/rc.d/boot.local 中加入 searchd 的开机启动。
/usr/local/coreseek/bin/searchd --config /usr/local/coreseek/etc/csft_mysql.conf

五．测试
1. 创建数据库
Mysql登陆数据库以后，创建 db 和 schema 。
假如db 是 dbname ， schema 如下：
CREATE TABLE t_sns_share_info_0000
(
ID BIGINT UNSIGNED NOT NULL,
FShareId BIGINT UNSIGNED NOT NULL DEFAULT 0,
FUin INTEGER UNSIGNED NOT NULL DEFAULT 0,
FPostTime INTEGER UNSIGNED DEFAULT 0,
FSource INTEGER,
FPostType INTEGER NOT NULL,
FContent VARCHAR(512) NOT NULL DEFAULT '',
FComment VARCHAR(512) DEFAULT '',
FShareType INTEGER NOT NULL,
FOperate INTEGER DEFAULT 0,
FShopId INTEGER DEFAULT 0,
FShopName VARCHAR(255) DEFAULT '',
PRIMARY KEY sid (ID),
UNIQUE KEY shareid(FShareId)
)ENGINE=MYISAM DEFAULT CHARSET=utf8;;

插入两条测试数据：
insert into t_sns_share_info_0000 values(xxxxxx);
insert into t_sns_share_info_0000 values(xxxxxxx);

2. 创建 sphinx 引擎表格
CREATE TABLE t_shareinfo_sphinxSE
(
id bigint unsigned UNSIGNED NOT NULL,
weight INTEGER default 1,
query VARCHAR(3072) NOT NULL,
FUin INTEGER UNSIGNED default 0,
FPostTime INTEGER UNSIGNED default 0,
FShareType INTEGER default 0,
FShopId INTEGER DEFAULT 0,
INDEX(query)
) ENGINE=SPHINX CONNECTION="sphinx://localhost:9312";


3. 创建 sphinx 配置文件
缺省的配置文件路径在/usr/local/coreseek/etc 目录下。在下面建立（如果没有）或者修改（如果已经存在）文件 /usr/local/coreseek/etc/csft_mysql.conf 。内容如下：
source t_sns_share_info_0000
{
type = mysql
sql_host = 10.xx.xx.xx
sql_user = dbuser
sql_pass = dbpasswd
sql_db = dbname
sql_port = 3306
sql_sock = /xxx/mysql.sock
sql_query_pre = SET NAMES utf8

sql_query = SELECT ID, FShareId, FUin, FPostTime, FSource,FPostType,FContent,FComment,FShareType,FOperate,FShopId,FshopName FROM t_sns_share_info_0000

sql_attr_uint = FUin
sql_attr_uint = FShareId
sql_attr_uint = FPostTime
sql_attr_uint = FSource
sql_attr_uint = FPostType
sql_attr_uint = FShareType
sql_attr_uint = FShopId

}
index t_sns_share_info_0
{

source = t_sns_share_info_0000
path = /usr/local/coreseek/var/data/t_sns_share_info_0_0
docinfo = extern
mlock = 0
morphology = none
exceptions = /usr/local/coreseek/var/exceptions.txt
min_word_len = 1
charset_type = zh_cn.utf-8
charset_dictpath = /usr/local/coreseek/dict
ngram_len = 0
ngram_chars = U+3000..U+2FA1F
html_strip = 0
}


#############################################################################
## indexer settings
#############################################################################


indexer
{
# memory limit, in bytes, kiloytes (16384K) or megabytes (256M)
# optional, default is 32M, max is 2047M, recommended is 256M to 1024M
mem_limit = 40M


# maximum IO calls per second (for I/O throttling)
# optional, default is 0 (unlimited)
#
# max_iops = 40


# maximum IO call size, bytes (for I/O throttling)
# optional, default is 0 (unlimited)
#
# max_iosize = 1048576




# maximum xmlpipe2 field length, bytes
# optional, default is 2M
#
# max_xmlpipe2_field = 4M




# write buffer size, bytes
# several (currently up to 4) buffers will be allocated
# write buffers are allocated in addition to mem_limit
# optional, default is 1M
#
write_buffer = 1M
}




#############################################################################
## searchd settings
#############################################################################


searchd
{
# hostname, port, or hostname:port, or /unix/socket/path to listen on
# multi-value, multiple listen points are allowed
# optional, default is 0.0.0.0:9312 (listen on all interfaces, port 9312)
#
# listen = 127.0.0.1
# listen = 192.168.0.1:9312
listen = 9312
# listen = /var/run/searchd.sock




# log file, searchd run info is logged here
# optional, default is 'searchd.log'
log = /usr/local/coreseek/var/log/searchd_t_sns_share_info_0.log


# query log file, all search queries are logged here
# optional, default is empty (do not log queries)
query_log = /usr/local/coreseek/var/log/query_t_sns_share_info_0.log


# client read timeout, seconds
# optional, default is 5
read_timeout = 5


# request timeout, seconds
# optional, default is 5 minutes
client_timeout = 300


# maximum amount of children to fork (concurrent searches to run)
# optional, default is 0 (unlimited)
max_children = 30


# PID file, searchd process ID file name
# mandatory
pid_file = /usr/local/coreseek/var/log/searchd_9312.pid


# max amount of matches the daemon ever keeps in RAM, per-index
# WARNING, THERE'S ALSO PER-QUERY LIMIT, SEE SetLimits() API CALL
# default is 1000 (just like Google)
max_matches = 1000000


# seamless rotate, prevents rotate stalls if precaching huge datasets
# optional, default is 1
seamless_rotate = 1


# whether to forcibly preopen all indexes on startup
# optional, default is 0 (do not preopen)
preopen_indexes = 0


# whether to unlink .old index copies on succesful rotation.
# optional, default is 1 (do unlink)
unlink_old = 1


# attribute updates periodic flush timeout, seconds
# updates will be automatically dumped to disk this frequently
# optional, default is 0 (disable periodic flush)
#
# attr_flush_period = 900




# instance-wide ondisk_dict defaults (per-index value take precedence)
# optional, default is 0 (precache all dictionaries in RAM)
#
# ondisk_dict_default = 1




# MVA updates pool size
# shared between all instances of searchd, disables attr flushes!
# optional, default size is 1M
mva_updates_pool = 1M


# max allowed network packet size
# limits both query packets from clients, and responses from agents
# optional, default size is 8M
max_packet_size = 8M


# crash log path
# searchd will (try to) log crashed query to 'crash_log_path.PID' file
# optional, default is empty (do not create crash logs)
#
# crash_log_path = /usr/local/coreseek/var/log/crash




# max allowed per-query filter count
# optional, default is 256
max_filters = 256


# max allowed per-filter values count
# optional, default is 4096
max_filter_values = 4096




# socket listen queue length
# optional, default is 5
#
# listen_backlog = 5




# per-keyword read buffer size
# optional, default is 256K
#
# read_buffer = 256K




# unhinted read size (currently used when reading hits)
# optional, default is 32K
#
# read_unhinted = 32K
}

# --eof--

4. 建立索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all
这个命令会根据配置文件/usr/local/coreseek/etc/csft_mysql.conf 生成对应的索引文件。
5. 运行 sphinx 服务器
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf
启动服务。

6.查询测试
可以通过sphinxSE 进行查询测试。
在mysql 中运行命令 Select * from t_shareinfo_sphinxSE where query="product"; 即可查看查询的结果。更多 sphinxSE 支持的语句请参考手册。

六． 进一步参考
当你走到这一步的时候，恭喜你，完成了sphinx 环境的搭建。
更多的知识，请参考coreseek 和 sphinx 的手册。
http://www.coreseek.cn/docs/coreseek_3.2-sphinx_0.9.9.html
http://www.coreseek.cn/docs/sphinx-1.11-beta.html
多操作，多实践是掌握sphinx 的最快方法。