iiiiiyao的博客

原创 nlp复习

一、分词1.1 理解基于词典的如FMM、BMMFMM从左向右取待切分汉语句的m个字符作为匹配字段，m为大机器词典中最长词条个数。1. 查找大机器词典并进行匹配。若匹配成功，则将这个匹配字段作为一个词切分出来。2. 若匹配不成功，则将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切分出所有词为止。BMM该算法是正向最大匹配的逆向思维，匹配不成功，将匹配字段的最前一个字去掉，实验表明，逆向最大匹配算法要优于正向最大匹配算法。1.2 说明【结