Diary04-Python网络爬虫-Requests库及实战示例

Python网络爬虫-Requests库及实战示例

1.Requests库

1.1Requests库的7个主要方法：

1.1.1requests.get()

1.1.2Response

其中Response对象的属性有以下5种：

通过r.status_code返回http请求状态，当输出为200时可以进行Response其他4个属性的输入；当输出为404(非200时)，表示由某些原因出错产生异常，以下以图解形式呈现：

下面为Response编码解析：

1.2爬取网页的通用代码框架

1.2.1Requests库异常

1.2.2爬取网页的通用代码框架

下面代码框架中try‐except是进行异常处理；

1.3 http协议以及对网络资源的操作

1.3.1http协议是什么

1.3.2http协议对资源的操作

http协议对资源的操作：

理解patch与put的区别，以下给出一个例子：

2.网络爬虫爬取原则

2.1网络爬虫的尺寸

2.2网络爬虫的限制

• 来源审查：User‐Agent

  检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问

• 发布公告：Robots协议

  告知所有爬虫网站的爬取策略，要求爬虫遵守

3.Requests库网络爬取实战

3.1京东商品页面的爬取

以下为代码示例：

3.2亚马逊商品商品的爬取

这里User-Agent会检测出来python requests库从而禁止爬取，所以要修改http协议头，下面为代码示例：

3.3百度搜索关键词提交

我们先了解百度关键词接口构成：

由此我们只需要指定wd指向的keyword，keyword及我们想要查询的关键词，程序运行结束后会有url链接，点击之后则会看到你所爬取的关键词的所有内容，下面是代码示例：

3.4网络图片的爬取和存储

第5行代码含义是将url最后一个斜杠后是内容作为存储图片的文件名；try内的代码含义为先判断这个图片是否存在在你的存储路径中，如果没有则通过网络爬取并将文件保存。