jieba--做最好用的中文分词组件详解【5】（自定义停止词语料库)

写在最前面：

 

这回真的是最后一篇关于jieba的用法介绍了

 

关键词提取所使用停止词（停止词）文本语料库切换成自定义语料库的路径

 

这是使用自带的停用词语料库，使用TF-IDF算法提取20个关键词。

import jieba
import jieba.analyse

jieba.load_userdict("userdict.txt")
jieba.analyse.set_idf_path("./jieba-master/extra_dict/idf.txt.big")


test_sent = (
    "这个李小福是那个云计算专家，他这个掌握了很多滑雪运动的那个知识，因此这个他那个当上了那个创新办什么主任"
)



tags = jieba.analyse.extract_tags(test_sent, topK=20, withWeight=True)
for i in tags:
    print(i[0],i[1])

 

结果如下：

这个 1.8875948688789472
那个 0.9991485692126316
李小福 0.6291982896263157
云计算 0.6291982896263157
掌握 0.6291982896263157
很多 0.6291982896263157
知识 0.6291982896263157
当上 0.6291982896263157
创新办 0.6291982896263157
什么 0.6291982896263157
主任 0.6291982896263157
滑雪运动 0.6159712144526316
专家 0.29483627671210527
因此 0.21391291445421054

 

然后使用自定义的停止词语料库，我们在语料库里加了这些停用关键词。

这个
那个
什么

 

加载自定义停用语料库

jieba.analyse.set_stop_words("./jieba-master/extra_dict/stop_words.txt")

 

输出结果如下：

李小福 1.0867970457181817
云计算 1.0867970457181817
掌握 1.0867970457181817
很多 1.0867970457181817
知识 1.0867970457181817
当上 1.0867970457181817
创新办 1.0867970457181817
主任 1.0867970457181817
滑雪运动 1.063950279509091
专家 0.5092626597754545
因此 0.36948594314818184

 

可以看到，啰嗦的这个、那个、什么被去掉了，仅此而已。