python爬虫之2017政府工作报告词频统计

python爬虫之2017政府工作报告词频统计

• 工作报告获取
• 中文编码
• 数据清洗
• 字符分割统计
• python编码中文显示问题
• 图表显示

---

文章内容

本文从网络抓取了2017年政府工作报告，并统计了各词语的出现频率，用图表分别显示了被提到超过30次和40次的词语。这里只是做了简单的分词，并没有对专业词汇、人名、数字、成语进行统计。所统计的词组全为两字词语。

说到网络爬虫，很多人都觉得是很炫的事，可以把自己关注的东西从海量数据中提取出来，海量数据扯得有点远。我们先来点现实的，本文所述爬虫是完全由我自己写的第一个爬虫程序，经历了很多痛苦。写下来的目的有两个，一是保存起来，为自己爬虫的第一次做个纪念，二是把其中的一些问题与大家交流，以免再次犯错。

废话不多说，先上代码。

@requires_authorization
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
import string
from collections import OrderedDict
import numpy as np 
import matplotlib.pyplot as plt
from matplotlib import mlab