weixin_47522728的博客

原创 NLP文本预处理：分词

NLP文本预处理：分词 分词方法：前、后项最大匹配，维特比算法。 前、后项最大匹配：设置一个最大分词区间，在前、后每次找设定好的字数看在词袋中是否有。没有则字数减1重复找，直到找到词袋中存在的词，作为第一个分词。 维特比算法：将语句中的单个字为元素，在字前后加入节点，字作为连接节点的边。按前后顺序连成一条直线，边上写上从一个字到另一个字的概率。然后，以两个字为单位在词袋中找，如果存在则连接这两条边的起终节点，并标上概率，直到找完最长分词的情况。 ...