- 博客(1)
- 收藏
- 关注
原创 NLP文本预处理:分词
NLP文本预处理:分词 分词方法:前、后项最大匹配,维特比算法。 前、后项最大匹配:设置一个最大分词区间,在前、后每次找设定好的字数看在词袋中是否有。没有则字数减1重复找,直到找到词袋中存在的词,作为第一个分词。 维特比算法:将语句中的单个字为元素,在字前后加入节点,字作为连接节点的边。按前后顺序连成一条直线,边上写上从一个字到另一个字的概率。然后,以两个字为单位在词袋中找,如果存在则连接这两条边的起终节点,并标上概率,直到找完最长分词的情况。 ...
2021-05-16 01:27:31
132
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人