python爬虫词云_利用爬虫做词云分析

首先跟大家解释下，为什么更新的是关于爬虫的内容而不是open.cv。因为小编想继承上一篇帖子(python数据可视化之WordCloud)的内容，上篇帖子只是简单的介绍了wordcloud的安装和使用方法，但是应用部分却没有怎么提及。今天，我们用爬虫来获取网页，然后再用word cloud做词云分析。

一、爬虫框架的搭建

1.1网络爬虫的基本思路

爬虫的目的是获取网页的信息，一般的应用就是搜索引擎了。今天小编就以爬取搜狐新闻为例跟大家聊聊爬虫的这些事儿。我们一般是通过requests库向web提出请求，然后通过BeautifulSoup库对页面内容进行解析，再次是利用正则表达式对获取的页面内容进行详解和筛选关键信息。具体的流程如下图：

爬虫1.PNG

安装requests库的方法：只需在命令行输入：“pip install requests”即可，这次我们用到的库一共是5个：requests、BeautifulSoup、jieba、re(re是python的内置模块，无需安装)、WordCloud。前三种库的安装方法同requests是一样的，所以小编就不赘述，WordCloud的安装参考这篇帖子。

requests库的使用方法很简单，也很容易掌握，主要的方法如下：

爬虫2.PNG

接下来，小编介绍下jieba库的使用：jieba是优秀的中文分词第三方库，中文文本需要通过分词来获得单个词语，它提供三种分词模式，主要是依靠中文词库，除