Python基础请求库requests的使用

Python基础请求库requests的使用

​ 前面我们学习urllib库的基本使用，但是与requests库相比，urllib库的部分操作还是相对比较麻烦的，例如在添加代理，操作cookie时，需要构造Opener和Handler对象来进行处理。对于request是来说，这些操作会更加的方便自如。下面让我们一起来学习requests库的相关用法吧。

---

（一）发出请求

1.现在我们向百度发出请求，来体验一下requests库的功能。

2.其他的请求方式

---

（二）在URL中传递参数

1.GET方式传参

​ 我们使用GET方式来为URL加入参数，此时我们只需要将想要传入的参数以键值对的形式定义成一个字典，然后将其传给params属性即可，并且我们从输出结果可以看出参数显示在args中，事例如下：

2.POST方式传参

​ 我们使用POST方式来为URL加入参数，此时我们同样需要将想要传入的参数以键值对的形式定义成一个字典，然后将其传给data属性，并且我们从输出结果可以看出参数显示在form属性中，事例如下：

---

（三）响应内容（二进制响应，JSON响应，原始响应）

​ 响应内容分为三种，一种是二进制形式，一种是JSON格式，另外一种是原始字符串。我们通过下面的实例依次进行演示。

1.二进制

​ 首先展示的二进制格式的响应内容，当我们要对视频，音频或者图片之类的文件进行读写时，需要将其转换成二进制再进行读写操作，事例如下：

2.JSON格式

​ 其次展示的JSON格式的响应内容，当你想用JSON的格式存取数据，只需调用Response对象内置的json方法即可自动对字符串进行解析并转换成json格式，事例如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1asdqftW-1615209729362)(http://images.liyangseekquiet.cn/static/images/3requests-json1.png)]

​ 运行结果如下：

3.字符串格式

​ 然后展示的字符串格式的响应内容，只需调用Response对象内置的text属性即可获取到对应的响应内容，事例如下：

​ 运行结果如下：

---

（四）请求头与响应头

​ 在大部分情况下，很多网站在进行访问的时候都必须加上一些必要的请求头，例如User-Agernt，Cookies…如果你没有加上这些请求头，就会被拒绝访问，现在我们就来看一下如何在requests使用的时候加请求头。

1.添加请求头

​ 所有的请求头都是键值对的形式，所以我们可以将其定义成一个字典并用一个变量进行接收，然后在进行请求的时候将其传给headers这个属性即可。

2.获取响应头

​ 每当我们向服务器发送出一个request请求时，服务器接收到请求并处理之后就会给我们返回一个响应，该响应中包含了响应头以及响应体的相关信息，每一个响应头也都是一个键值对，我们可以通过对应的键取出响应的值。

---

（五）响应状态码

1.状态码

​ 每一个响应都会带有一个状态码，来标志着这个响应的状态，是成功？是服务器异常？还是客户端异常？不同的状态码标志这不同的状态信息，事例如下：

2.常用条件码

​ 当然不只有200这一个条件码，下面我们来列举几个常用的条件码。

​ 200：成功（‘ok’, ‘all_ok’）

​ 302：重定向（‘found’）

​ 304：有缓存，未改变文件内容（‘not_modified’）

​ 404：找不到资源（‘not_found’）

​ 500：服务器异常（‘server_error’, ‘internal_server_error’）

---

（六）Cookies

1.Cookies的获取

​ Cookie是我们在网页中不可或缺的一部分，我们经常通过cookie来维持用户的登录状态，下面我们来获取一下Cookies，事例如下：

2.cookie的设置

当然除了获取之外，我们也可以加入我们自己的一个cookie的信息，事例如下：

---

（七）代理设置

1.代理的设置

​ 很多时候我们在运行爬虫的时候，因为我们的爬取速度过快或者访问频率过高，而被某些网站封IP，此时我们就需要更换我们的IP，使用代理IP来伪装我们的主机，继续进行数据的爬取，那么requests中我们只需要将我们定义好的代理传给proxies属性即可更换Ip，事例如下：

---

（八）重定向设置和会话维持

1.重定向设置

import requests
response = requests.get('https://httpbin.org/get', allow_redirects=false)
print(response.text)

2.会话维持

import requests
session = Session()
response = session.get('https://httpbin.org/get')
print(response.text)

---

（九）超时和异常

# 如果出现网络问题（例如DNS故障，连接被拒绝等），请求将引发ConnectionError异常。
# 如果请求超时，Timeout则会引发异常。
# 请求显式引发的所有异常都继承自 requests.exceptions.RequestException。
import requests
requests.get('https://github.com/', timeout=0.001)