网络爬虫——用Python爬取新浪新闻材料

微信公众号：数据分析与统计学习
如有问题或建议，请公众号留言
最近更新时间：2018-7-8

最近一个星期都在学习网络爬虫，秉着有学习输入就要有学习输出（学以致用）的原则，把整个学习过程记录下来，并分享给大家。

一、 爬虫前的准备工作

我是在Windows系统下用Python的Anaconda集成开发环境实现网络爬取新浪新闻项目。用Anaconda实现网络爬虫有如下几个好处：第一，该软件是免费的；第二，该集成开发环境已经具备网络爬虫所需的库，不需要我们安装第三方库。
下载谷歌浏览器的一个第三方插件SelectorGadget，主要是用来辅助定位网页元素的位置以及查找出各网页元素的共同规律。具体用法可以上网搜索。

二、 网络爬虫流程说明

一个轻量级的网络爬虫项目，应该具备如下两个步骤。第一，获取网页上的目标链接（URL）；第二，目标网页解析，从网页中提取我们所需要的数据。

三、 网络爬虫代码实现

在敲击键盘编写代码实现爬虫项目的过程中，主要用到Python中三个第三方库——requests 、BeautifulSoup和json以及用于存储数据的pandas库。
requests库主要用途获取目标网页的内容，爬虫过程中主要用到它的get方法，接受参数URL，就返回一个包含目标内容的Response对象。详细用法请参考requests库的中文文档。链接如下：