基于词频统计的未登录词识别设想

未登录词识别处理策略：构建单字词表

策略2:

通过逐级识别用户输入的词的长度是否等于1或大于4、是否为预设的分词词典或用户词典中存在的词、是否包含于所述分词词典或用户词典的某个词中，筛选出可能的未登录词加入用户输入词词典中做临时记录，当进一步识别出所述用户输入的词为网络词条中的词时，将所述用户输入的词加入所述用户词典中，同时将其从所述用户输入词词典中删除。通过逐级识别用户输入的词，将可能的未登录词加入用户词典中，丰富了用户词典，当需要基于所述用户词典对用户输入的语句进行分词时，能够改善分词效果。

来源：patents.google.com/patent/WO20…

转载于:https://juejin.im/post/5c97b7866fb9a070b45dd865