使用python进行“中文词频分析”学习笔记

首先什么是“词频分析”？

词频分析，就是对某一或某些给定的词语在某文件中出现的次数进行统计分析。

那么它能做哪些事情？

比如：分析你最喜欢的作者的表达习惯是怎样的？

          判断一首诗是李白写的还是杜甫写的？

          分析红楼梦前八十回和后四十回到底是不是一个人写的？

          某小说的人物出场顺序是怎样的？

          领导演讲稿中强调最多的是什么？

          ……等等。

我们需要使用python的jieba库。

jieba库：优秀的中文分词组件。支持繁体分词、自定义词典。可以对文档进行三种模式的分词：

1、精确模式：试图将句子最精确地切开,适合文本分析;

2、全模式：把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;

3、搜索引擎模式：在精确模式的基础上,对长