NLP基础之分词和纠错原理

1. 最大匹配

前项最大匹配(forward-max matching )

需要先设置一个最大匹配长度（通常max_len 为5-10），然后从左到右圈出这些字。看一下这五个字的词有没有在词库里，若有，则分词，若无，则把最右边一个字去掉，看剩下4个字是否为一个词。以此循环。直到完成。

 

小点：贪心和动态规划的区别

贪心为选择当前最优解，局部最优可能会得到全局最优

动态规划为能看到全局最优的条件下进行优化。得到的是全局最优解。

后项最大匹配算法与前项原理相同，只是从右往左删除字符。

小点2： 1，最大匹配的缺点，贪心未必全局最优,

2，效率低

3，细分可能结果会更好

4，不能考虑语义

 

2. 结合语义（incorporate semantic）