jieba分词基本操作

最新推荐文章于 2024-06-29 22:11:22 发布

WikiLeake

最新推荐文章于 2024-06-29 22:11:22 发布

阅读量2.4k

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/qq_42092076/article/details/113186810

版权

这篇博客介绍了jieba分词的多种操作，包括添加和删除新词，导入用户自定义词典，利用搜狗拼音词库增强分词效果，去除停用词以提高文本分析质量，以及使用停用词文件进一步优化。同时，还探讨了如何运用TF-TDF算法和进行词性标注，以提升文本处理的准确性。

摘要由CSDN通过智能技术生成

jieba添加删除新词

import jieba
tmpstr="我有哀牢山三十六剑"
res=jieba.cut(tmpstr)
print('/'.join(res))
# 添加词哀牢山三十六剑
jieba.add_word("哀牢山三十六剑")
print("添加新词以后的分词结果为：    "+'/'.join(jieba.cut(tmpstr)))
# 删除词哀牢山三十六剑
jieba.del_word("哀牢山三十六剑")
print("删除词语以后的分词结果为：    "+'/'.join(jieba.cut(tmpstr)))