requests 200 scrapy超时_爬虫之Requests库（总结所用知识点与函数）

Requests 库​mp.weixin.qq.com

认识requests库

• 功能强大的爬取网页信息的第三方库，可以进行自动爬取HTML页面及自动网络请求提交的操作

• Response对象
• Response对象包含服务器返回的所有信息，也包含请求的Request信息

属性说明 r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败 r.textHTTP响应内容的字符串形式,即url对应的页面内容 r.encoding从HTTP header中猜测的响应内容编码方式 r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式） r.contentHTTP响应内容的二进制形式常见Requsets库的异常异常说明r.raise_for_status()如果不是200，产生异常requests.HTTPErrorrequests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等requests.HTTP ErrorHTTP错误异常requests.URLRequired URL缺失异常requests.TooManyRedirects超过最大重定向次数，产生重定向异常requests.ConnectTimeout 连接远程服务器超时异常requests.Timeout请求URL超时，产生超时异常HTTP协议及Requests库方法

• HTTP协议（超文本传输协议）
• 是一个基于“请求与响应”模式的、无状态的应用层协议
• HTTP协议采用URL作为定位网络资源的标识，URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源
• URL格式如下：http://host[:port][path]host: 合法的Internet主机域名或IP地址port: 端口号，缺省端口为80path: 请求资源的路径
• HTTP协议对资源的操作

方法说明GET请求获取URL位置的资源 HEAD请求获取URL位置资源的响应消息报告，即获得该资源的头部信息 POST请求向URL位置的资源后附加新的数据 PUT请求向URL位置存储一个资源，覆盖原URL位置的资源 PATCH请求局部更新URL位置的资源，即改变该处资源的部分内容 DELETE请求删除URL位置存储的资源Requests库主要方法方法说明requests.request() 构造一个请求，支撑以下各方法的基础方法requests.get() 获取HTML网页的主要方法，对应于HTTP的GETrequests.head()获取HTML网页头信息的方法，对应于HTTP的HEADrequests.post() 向HTML网页提交POST请求的方法，对应于HTTP的POSTrequests.put() 向HTML网页提交PUT请求的方法，对应于HTTP的PUTrequests.patch()向HTML网页提交局部修改请求，对应于HTTP的PATCHrequests.delete()向HTML页面提交删除请求，对应于HTTP的DELETE

• requests.request(method,url,**kwargs)
• method: 请求方式，对应get/put/post等7种
• url: 拟获取页面的url链接
• **kwargs: 控制访问的参数，共13个，均为可选项

1. params: 字典或字节序列，作为参数增加到url中
2. data: 字典、字节序列或文件对象，作为Request的内容
3. json: JSON格式的数据，作为Request的内容
4. headers : 字典，HTTP定制头
5. cookies : 字典或CookieJar，Request中的cookie
6. auth: 元组，支持HTTP认证功能
7. files : 字典类型，传输文件
8. timeout : 设定超时时间，秒为单位
9. proxies : 字典类型，设定访问代理服务器，可以增加登录认证
10. allow_redirects: True/False，默认为True，重定向开关
11. stream : True/False，默认为True，获取内容立即下载开关
12. verify : True/False，默认为True，认证SSL证书开关
13. cert : 本地SSL证书路径

• requests.get(url,params=None, **kwargs)
• ∙ url: 拟获取页面的url链接
• ∙ params: url中的额外参数，字典或字节流格式，可选
• ∙**kwargs: 12个控制访问的参数