搜索引擎中对于Q查询,都会涉及到字符串归一化这个步骤,以提高结果召回率。字符串的归一化包括三个方面:繁体转简体;全角字符转半角;大写字母转小写。
建倒排时,会先对字符串做归一化处理,然后再分词取term;用户查询时,也会对查询串做同样的操作,这样就能找到对应的倒排链。
在返回查询结果给前端时,会按照查询串对原文做飘红,这里就涉及到一个问题,原文是没有归一化的;为了解决这个问题,我们自己写了个normalize_strstr,如下:
char* normalize_strstr(const char *src, int srclen,
const char *key, int keylen, int *outsize){
unsigned short srcword = 0, keyword = 0;
int srcpos = 0;
do {
int tmppos = srcpos;
int keypos = 0;
do {
keyword = get_utf8_word(key, keylen, &keypos);
if(keyword == 0) {
*outsize = tmppos - srcpos;
return (char*)(src + srcpos);
}
srcword &