python如何分析高频词_利用Python统计演讲高频词

1月9日被誉为中国最牛的产品经理张小龙做了微信的年度演讲[1]，引爆朋友圈。

1月10日采铜写了篇《张小龙四个小时的演讲没有讲什么?》[2]，又引爆朋友圈。在现在几乎所有人张口就谈“认知升级”、“底层逻辑”等词的时代，这篇文章用数据阐述了张小龙在演讲想表达什么。我觉得特别好玩的是，有很多大家都在说的词，耳朵里听出老茧的词，他一个字都没提。为什么呢？也许他的词典里根本没有这样的词，也许有但是他觉得根本不重要。反正，从这些他没有用的词中，我看到了值得思考的东西。

统计文章的词频，给我提供了一个新的思路，能不能用python统计高频词呢？肯定是可以的。先放出一张最终结果图，有一个更直观的体验。下面就是我们如何一步一步实现这样的过程，Here we go！

这里使用python的jieba库(感谢开发)对中文进行分词。

首先需要安装分词库。打开终端，输入以下命令行。1$ pip install jieba若提示没有安装pip，则自行在网络中搜索pip 并安装。

将演讲(或其他)内容保存复制为report.txt，与py程序文件放在同一文件夹下，在终端运行以下程序[3-6]：1

2

3

4

5

6

7

8

9

10

11

12

13

14from collections import Counter

import jieba # 导入jieba库

f = open('report.txt').read() # 打开report.txt文档

words = list([word for word in jieba.cut(f, cut_all=False) if len(word) >= 2]) # 分词

data = dict(Counter(words).most_common(50)) # 统计词频，并以Dictionary