NLP基础—jieba分词
对于节点2,他有2->3, 2->4, 2->4三条路径,我们取概率最大的路径作为节点2的路径概率,并记下概率最大时节点2的结束位置。初始化时,先加载词典文件dict.txt,遍历每一行,生成词语-词数的键值对和总词数,并将生成结果保存到cache中,下次直接从cache中读取即可。Full Mode: 我/ 毕业/ 于/ 四川/ 四川大学/ 大学/ ,/ 我/ 关注/ 了/ 数据/ STUDIO。李小福 / 是 / 创新 / 办 / 主任 / 也 / 是 / 云 / 计算 / 方面 / 的 / 专家 /
原创
2024-04-16 15:10:57 ·
861 阅读 ·
0 评论