python大作业爬虫_爬虫大作业

1.选一个自己感兴趣的主题（所有人不能雷同）。

2.用python 编写爬虫程序，从网络上爬取相关主题的数据。

3.对爬了的数据进行文本分析，生成词云。

4.对文本分析结果进行解释说明。

5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。

6.最后提交爬取的全部数据、爬虫及数据分析源代码。

1、开发环境

编程语言：Python3.6

代码运行工具：pycham

依赖库：Requests，BeautifulSoup，wordcloud，re，jieba等

2、开发软件已经第三方库的安装

由于开发软件的安装流程网上都有比较详细的介绍，所以在这里只是给出参考网站，具体讲一下的是第三方库的安装

Python3.6的安装教程参照（https://jingyan.baidu.com/article/e9fb46e1502c5a7520f76640.html）

pycham的安装教程参照（https://jingyan.baidu.com/article/90895e0f28a32064ec6b0bc7.html）

在windows上安装python依赖库非常简单，语法如下：pip install PackageNamePackageName指的是你安装的依赖包名称。

例如安装requests依赖包可以这样安装：pip install requests

但是以上的安装依赖包的方法用于wordcloud依赖包的安装是不行的，软件会报错的。我上网找了一下解决的方法有两个比较可行的。

第一个是去https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud选择合适的版本下载whl文件，注意的是，cp指的是系统上安装的python版本，32或者64表示安装的python版本是32位或者64位的，而不是你电脑的操作系统多少位的

下载完成后打开cmd运行,切换到指定目录运行，代码如下：

pip install wordcloud-1.4.1-cp36-cp36m-win32.whl

pip install wordcloud

其中wordcloud-1.4.1-cp36-cp36m-win32.whl是你下载的whl文件的名字或者说是你下载的whl 的版本。

第二个是