python数据爬取---简单页面的爬取

 

1、准备Requests和User Agent

python中能实现爬虫功能的库有若干个，而最简单最容易上手的，要数Requests库，它是一个常用的http请求库，首先用pip install requests 进行安装才能使用。

User Agent一般翻译为用户代理，它的作用是向服务器自报家门。为什么要这个User Agent呢？因为我们要让爬虫假装是一个正常的用户在使用浏览器对目标网站的服务器发出请求。那怎么知道自己的User Agent，最简单的方法就是在百度中搜索UA查询。

2、确定一个目标网站并分析其结构

比如，我们现在要以中央政府官网作为目标网站，地址http://www.gov.cn,我们要抓取最新政策信息。

政策专栏的地址是：http://www.gov.cn/zhengce/index.htm，该页面显示近10条最新政策标题；

最新政策专栏的地址是：http://www.gov.cn/zhengce/zuixin.htm，该页面显示近60条最新政策标题

点击某一政策名，进入该政策详细内容，如国务院关于促进乡村产业振兴的指导意见，地址是：http://www.gov.cn/zhengce/content/2019-06/28/content_5404170.htm

3、爬取目标页面并保存为本地