二元法 PHP,[转]PHP中文二元分词技术函数(UTF-8编码)

因mysql不直接支持对中文的全文检索，基于mysql的数据库的搜索功能设计一向都成为了难题。

当然想偷懒，完全可以用like来对付，但你的网站的数据量到了几百万的时候……使用KingCMS建站的站长，要么就休了搜索功能，要么就考虑转向其他CMS类系统。

参考了网上的代码，但基本都是对GBK码的编码，在UTF-8下会出错，所以在UTF-8下重写了分词函数，如下：

/**

* 中文分词函数，输出数字组合

*/

function wordSegment($str) {

$search = array("：",")","(","．","。","，","！","；","“","”","‘","’","［","］","、","—","　","《","》","－","…","【","】");

$str=str_replace($search,' ',$str);

//英文单词3个以上，中文2词

preg_match_all ('#([A-Za-z0-9]{3,}|([\xC0-\xFF][\x80-\xBF]+)+)#',$str,$array,PREG_PATTERN_ORDER);

$ss=array();

if (!empty($array[1])) {

foreach ($array[1] as $val) {

//英文单词

if (preg_match('/\w+/',$val)) {

$ss[]=$val;

}else{//中文字符

preg_match_all('#[\xC0-\xFF][\x80-\xBF]+#',$val,$out,PREG_PATTERN_ORDER);

if (!empty($out[0])) {

$count=count($out[0]);

for ($i = 0 ; $i < $count-1 ; $i++) {

$t=$out[0][$i].$out[0][$i+1];

$t=kc_iconv($t,'GBK','UTF-8');

$ss[]=sprintf("%02d%02d%02d%02d",ord($t{0})-160,ord($t{1})-160,ord($t{2})-160,ord($t{3})-160);

}

}

}

}

}

return empty($ss) ? '' : implode(' ',array_unique($ss));

}

/**

* 编码转换

* @param string $s 录入的

* @param string $out 输出编码类型

* @param string $in 输入编码类型

* @return string

*/

function kc_iconv($s,$out='UTF-8',$in='GBK'){

if($out==$in)

return $s;

if(function_exists('iconv')){

$s=iconv($in,"$out//IGNORE",$s);

}elseif(function_exists('mb_convert_encoding')){

$s=mb_convert_encoding($s,$out,$in);

}

return $s;

}

考虑到UTF-8编码转换为区位码后占去6个字符，所以做了iconv转换，这样可以减少两位字符，尽可能的减少索引文件的大小。

来源:http://hi.baidu.com/sincs/blog/item/5b9546dab3452dd0b6fd488e.html