python文本词频统计jieba库_python实战，中文自然语言处理，应用jieba库来统计文本词频...

模块介绍

安装：pip install jieba 即可

jieba库，主要用于中文文本内容的分词，它有3种分词方法：

1. 精确模式, 试图将句子最精确地切开，适合文本分析：

2. 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；

3. 搜索引擎模式，在精确模式的基础上，对长词再词切分，提高召回率，适合用于搜索引擎分词。

我们用个小例子演示下

这上面的小例子中我们看到了一个问题，如果我们只是简简单单的将所有词切分出来，然后去统计它们出现的次数，那么你会发现，其中的“是”，“的”等等词语以及各种标点符号是出现频率最高的，那么这里有2种方式，1是直接去掉长度为1的所有词语，比如上面所说的“是”，“的”或者标点符号等等，还有一种呢，是用到了TF-IDF技术TF-IDF (term frequency-inverse document frequency)是一种用于信息检索(information retrieval)与文本挖掘(text mining)的常用加权技术，比较容易理解的一个应用场景是当我们手头有一些文章时或者微博评论，我们希望计算机能够自动地进行关键词提取。而TF－IDF就是可以帮我们完成这项任务的一种统计方法。它能偶用于评估一个词语对于一个文集或一个语料库中的其中一份文档的重要程度。这个方法又称为"词频－逆文本频率"。