mysql fulltext中文_mysql5.6 InnoDB 全文索引 FULLTEXT 中文解决方案 base64

mysql5.6 innlDB 在CHAR、VARCHAR、TEXT类型的列上可以定义全文索引，但因为无法中文分词所以对中文的支持很差，但从MySQL5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。

在没法升级5.7的情况下，5.6有变通的办法，就是将整句的中文拆分成单个汉字，并按urlencode、区位码、base64、拼音等进行编码使之以"字母+数字"的方式存储于数据库中。转换完达到如下的效果：

存储的是将汉字编码后的结果，用空格连起来，这样就可以使用5.6的全文索引来进行搜索，注意的是要将搜索的内容也先同样编码再进行搜索。

下面给出一种基于base64的汉字变换方式

/**

* 关键词整理函数(用作mysql的全文索引制作的搜索)

* 1.将字符串全角转半角、去空格、大写转小写、分成单个字符并base64编码、最后用空格连接类,方便mysql索引,做搜索关键字

* 2.将数字转全角做索引区分标识,全角数字为标识专用

**/

function keywords($str){//全角转半角

$str = strtr($str,[‘１‘ => ‘1‘,‘２‘ => ‘2‘,‘３‘ => ‘3‘,‘４‘ => ‘4‘,‘５‘ => ‘5‘,‘６‘ => ‘6‘,‘７‘ => ‘7‘,‘８‘ => ‘8‘,‘９‘ => ‘9‘,‘０‘ => ‘0‘,

‘Ａ‘ => ‘A‘,‘Ｂ‘ => ‘B‘,‘Ｃ‘ => ‘C‘,‘Ｄ‘ => ‘D‘,‘Ｅ‘ => ‘E‘,‘Ｆ‘ => ‘F‘,‘Ｇ‘ => ‘G‘,‘Ｈ‘ => ‘H‘,‘Ｉ‘ => ‘I‘,‘Ｊ‘ => ‘J‘,‘Ｋ‘ => ‘K‘,‘Ｌ‘ => ‘L‘,‘Ｍ‘ => ‘M‘,‘Ｎ‘ => ‘N‘,‘Ｏ‘ => ‘O‘,‘Ｐ‘ => ‘P‘,‘Ｑ‘ => ‘Q‘,‘Ｒ‘ => ‘R‘,‘Ｓ‘ => ‘S‘,‘Ｔ‘ => ‘T‘,‘Ｕ‘ => ‘U‘,‘Ｖ‘ => ‘V‘,‘Ｗ‘ => ‘W‘,‘Ｘ‘ => ‘X‘,‘Ｙ‘ => ‘Y‘,‘Ｚ‘ => ‘Z‘,

‘ａ‘ => ‘a‘,‘ｂ‘ => ‘b‘,‘ｃ‘ => ‘c‘,‘ｄ‘ => ‘d‘,‘ｅ‘ => ‘e‘,‘ｆ‘ => ‘f‘,‘ｇ‘ => ‘g‘,‘ｈ‘ => ‘h‘,‘ｉ‘ => ‘i‘,‘ｊ‘ => ‘j‘,‘ｋ‘ => ‘k‘,‘ｌ‘ => ‘l‘,‘ｍ‘ => ‘m‘,‘ｎ‘ => ‘n‘,‘ｏ‘ => ‘o‘,‘ｐ‘ => ‘p‘,‘ｑ‘ => ‘q‘,‘ｒ‘ => ‘r‘,‘ｓ‘ => ‘s‘,‘ｔ‘ => ‘t‘,‘ｕ‘ => ‘u‘,‘ｖ‘ => ‘v‘,‘ｗ‘ => ‘w‘,‘ｘ‘ => ‘x‘,‘ｙ‘ => ‘y‘,‘ｚ‘ => ‘z‘,

‘～‘ => ‘~‘,‘｀‘ => ‘`‘,‘！‘ => ‘!‘,‘＠‘ => ‘@‘,‘＃‘ => ‘#‘,‘＄‘ => ‘$‘,‘％‘ => ‘%‘,‘＾‘ => ‘^‘,‘＆‘ => ‘&‘,‘＊‘ => ‘*‘,‘(‘ => ‘(‘,‘)‘ => ‘)‘,‘＿‘ => ‘_‘,‘－‘ => ‘-‘,‘＋‘ => ‘+‘,‘＝‘ => ‘=‘,

‘｛‘ => ‘{‘,‘｝‘ => ‘}‘,‘［‘ => ‘[‘,‘］‘ => ‘]‘,‘｜‘ => ‘|‘,‘＼‘ => ‘\\‘,‘：‘ => ‘:‘,‘；‘ => ‘;‘,‘＂‘ => ‘"‘,‘＇‘ => ‘\‘‘,

‘＜‘ => ‘ ‘,‘,‘＞‘ => ‘>‘,‘．‘ => ‘.‘,‘？‘ => ‘?‘,‘／‘ => ‘/‘,‘　‘ => ‘ ‘]);//去空格

$str = str_replace(‘ ‘,‘‘,$str);//大写转小写

$str = strtolower($str);//数字统一格式为阿拉伯数字

$str = strtr($str,[‘零‘ => 0,‘一‘ => 1,‘二‘ => 2,‘三‘ => 3,‘四‘ => 4,‘五‘ => 5,‘六‘ => 6,‘七‘ => 7,‘八‘ => 8,‘九‘ => 9]);//分成单个字符并base64编码

$str_len = strlen($str);//获取关键字集合

$arr =[];$str_len = mb_strlen($str);for($i = 0;$i < $str_len;++ $i){$keyword = strtr(base64_encode(mb_substr($str,$i,1)),‘+/=‘,‘abc‘);if(!in_array($keyword,$arr)){ //去除重复的关键字

$arr[] = $keyword;

}

}return $arr;

}

例如将字符串 ‘小明小红是朋友‘ 输入改函数，返回的结果是数组如下

array(6) {

[0]=>

string(4) "5bCP"[1]=>

string(4) "5piO"[2]=>

string(4) "57qi"[3]=>

string(4) "5piv"[4]=>

string(4) "5pyL"[5]=>

string(4) "5YaL"}

分别对应相应的汉字，注意小明和小红都有小这个字，所以去掉重复的字，只有六个编码。

然后用空格将数组连起来

$keywords = implode(‘ ‘,keywords($keyword));

将$keywords 存入数据库。

进阶：

如果匹配的关键词包含一些常用的字，会出现大量的结果。

例如搜索书名 霸道总裁，可能会出现，裁缝，总经理，这样的结果

全文搜索是按照相关度从高到底返回的结果，可以只去去前面一些相关度较高的结果。

或者先查询出相关度最高是多少(相关度是一个数值)，然后除以二，限定结果的相关度都大于这个最大相关度的一半。

参考

//通过最大相关度/2过滤一部分无关结果//查询出最大相关度是多少

$score = $this->sql(‘xs.nh‘)->query(‘SELECT MATCH(keywords_base) AGAINST (?) AS score FROM nh ORDER BY score DESC LIMIT 1‘,[$keywords]);//构造查询语句

$this->where[‘MATCH(keywords_base) AGAINST‘] = [$keywords,‘> ‘.$score[0][‘score‘] / 2];