在PHP+MySQL构架的网站中,大数据量的全文检索一般都会用到MySQL的FULLTEXT全文索引,通过SELECT...MATCH...AGAINST语句来进行查找。
迄今为止,MySQL对中文全文索引无法正确支持,MySQL是不会识别中文词语的。参照MySQL识别英文单词机制,要建立中文全文索引,暂时的解决方案只有手动将中文分词(以空格的形式将中文词语分开),来将中文转换成MySQL认识的语言。
如今网上对于中文分词的解决方案有很多,有基于MySQL插件的,有谈论算法思想的。基于插件(如海量科技的MySQL--LinuxX86-Chinese+,hightman开发的mysql--ft-hightman)的方式主要通过对MySQL数据库安装一个别人提供好的插件,在建FULLTEXT索引的字段时后面加上WITH PARSER ×××(大多都是这样)的形式。而基于算法思想的则大部分工作都要自己完成,但他们的大体思想都差不多:
1. 对插入的要建全文索引的中文数据进行分词;
2. 将原始数据和分词后的数据都存入数据库中,并以某种方式建立联系;
3. 在存储分词数据的字段上建立FULLTEXT索引;
4. 查询时以SELECT...MATCH...AGAINST的方式在分词字段上搜索,将搜到的行通过前面建立的联系找到原始数据行并返回。
而我们在讨论解决方案时,考虑到使用开源插件的话可控性比价差,而且插件会对MySQL做一些改变,我们决定将分词存储的工作自己写代码完成,这样虽然工作量加大,但以后的维护成本却降低了很多。下面我们来看下大体实现。
一、首先,先建立数据库
要注意的是只有MyISAM表类型才能支持FULLTEXT,MyISAM与InnoDB各有优劣,我们决定将原始数据与索引分表存储,原始数据存入InnoDB表,同时建立MyISAM表存入作为检索的字段和用于关联的字段id。这里我建立了两张表questions和questions_idx:
其中,title和detail是要建立全文索引的字段,而id则是建立两张表的联系。值得注意的是,MyISAM是不支持事务和外键的,因此对于两张表数据的同步还要靠额外代码逻辑来实现。
还有就是索引字段有可能需要比原始数据更大的空间,这里我分配了2倍(这个是我随意想的,有可能需要更多)。
二、接着,讨论中文分词
网上流传的分词方法有很多,主要有基于算法的(比如二元分词算法,字节交叉切分算法)和基于词库的。基于算法是不必要维护词库的,而词库法则必须维护词库,有可能跟不上词汇的发展。实际上现在很多著名的搜索引擎都使用了多种分词的办法,比如“正向最大匹配”+“逆向最大匹配”,基于统计学的新词识别,自动维护词库等技术。
我们采用的是基于词库的,并且使用了hightman的scws的php扩展模块方式。参考http://www.ftphp.com/scws/ 。这个开源分词系统这里不多说,总之利用的是词库来分词,而且最新版的是支持自定义词库的,这对于我们的内部网站来说,词库的维护问题变得简单了,因为新增词汇不会像外部网站那么大,也不需要维护太多。
下面定义了类CWS,方法get_idx将输入中文数据,输出分词并编码后的数据:
class CWS {
//对输入字符串使用scws进行分词,去重复项,进行urlencode编码
public static function get_idx($input) {
//--------分词-----------
$so = scws_new();
$so->set_charset('utf8');
$so->set_ignore(true);
$output = '';
$so->send_text($input);
while ($tmp = $so->get_result()) {
foreach ($tmp as $item) {
$output .= $item['word'] . ' ';
}
}
$so->close();
//--------编码-----------
$data = array_filter(explode(" ",$output)); //删除数组空项
$data = array_flip(array_flip($data)); //删除重复项
//对分词结果进行urlcode编码
foreach ($data as $ss) {
if (strlen($ss) > 1) {
$data_code .= str_replace('%','',urlencode($ss)) . ' ';
}
}
return $data_code;
}
}
对于scws的那段代码请参照scws使用手册。
而对于为什么要进行编码,网上大都解释是:MySQL系统自变量规定了全文检索被编入索引单词的最小长度和最大长度(ft_min_word_len和ft_max_word_len),默认的最小值为4个字符,默认的最大值取决于使用的 MySQL 版本。 参考http://dev.mysql.com/doc/refman/4.1/en/server-system-variables.html#sysvar_ft_min_word_len
为了不改变这个默认值同时也是兼考虑这个值对于英文的意义,则需要通过编码将中文词变长。
而对于编码,网上流传的方式也有很多,比如base64编码、urlencode编码等,甚至还有汉字转拼音。这里我尝试了urlencode编码,需要注意的是urlencode会产生很多’%’,这在MySQL中是通配符,要去掉。
三、插入数据
插入数据的时候我们就要调用以上的函数了:
public function add($title, $detail, $askerid) {
$date = NOW;
$sql = 'INSERT INTO questions ' .
'(title, detail, askerid, date) ' .
'values ' .
"('$title', '$detail', $askerid, '$date')";
$result = $this->db->query($sql);
$id = $this->db->lastId();
//scws分词存储
$title_idx = CWS::get_idx($title);
//使用strip_tags函数过滤掉富文本编辑器产生的标签
$detail_idx = CWS::get_idx(strip_tags($detail));
$sql = 'INSERT INTO questions_idx ' .
'(id, title, detail) ' .
'values ' .
"($id, '$title_idx', '$detail_idx')";
$this->db->query($sql);
return $result;
}
四、搜索数据
搜索的时候,从输入框获取问题,当然如果你输入的是关键词,那就直接搜就是了,但我们是要用户输入的一个完整的问题,因此也要分词,否则MySQL还是检索不到:
public function search($word, $limit) {
$word = CWS::get_idx($word);
$sql = "SELECT A.title, A.detail, askerid, date " .
"FROM questions as A, questions_idx as B " .
"WHERE A.id = B.id " .
"AND MATCH (B.title, B.detail) AGAINST ('$word')";
$result = $this->db->getAll($sql, $limit);
return $result;
}
相关资料: