搜索引擎中的字符串归一化

搜索引擎中对于Q查询，都会涉及到字符串归一化这个步骤，以提高结果召回率。字符串的归一化包括三个方面：繁体转简体；全角字符转半角；大写字母转小写。

建倒排时，会先对字符串做归一化处理，然后再分词取term；用户查询时，也会对查询串做同样的操作，这样就能找到对应的倒排链。

在返回查询结果给前端时，会按照查询串对原文做飘红，这里就涉及到一个问题，原文是没有归一化的；为了解决这个问题，我们自己写了个normalize_strstr，如下：

char* normalize_strstr(const char *src, int srclen,
        const char *key, int keylen, int *outsize){
    unsigned short srcword = 0, keyword = 0;

    int srcpos = 0;
    do {
        int tmppos = srcpos;
        int keypos = 0;
        do {
            keyword = get_utf8_word(key, keylen, &keypos);
            if(keyword == 0) {
                *outsize = tmppos - srcpos;
                return (char*)(src + srcpos);
            }
            srcword &