- 博客(1)
- 收藏
- 关注
原创 nlp复习
一、分词 1.1 理解基于词典的如FMM、BMM FMM 从左向右取待切分汉语句的m个字符作为匹配字段,m为大机器词典中最长词条个数。 1. 查找大机器词典并进行匹配。若匹配成功,则将这个匹配字段作为一个词切分出来。 2. 若匹配不成功,则将这个匹配字段的最后一个字去掉,剩下的字符串作为新的匹配字段, 进行再次匹配,重复以上过程,直到切分出所有词为止。 BMM 该算法是正向最大匹配的逆向思维,匹配不成功,将匹配字段的最前一个字去掉,实验表明, 逆向最大匹配算法要优于正向最大匹配算法。 1.2 说明【结
2021-04-27 18:49:57 1214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人