requests模块

1. requests模块

1.1 requests简介

requests 是一个功能强大、简单易用的 HTTP 请求库，比起之前用到的urllib模块，requests模块的api更加便捷。（本质就是封装了urllib3）

可以使用pip install requests命令进行安装，但是很容易出网络问题，所以我找了下国内的镜像源来加速。

然后就找到了豆瓣的镜像源：

pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

只要将包名修改一下，就能快速下载模块了。

1.2 requests请求

请求方法有很多种，但是我们只讲最常用的两种：GET请求和POST请求。

1.2.1 GET请求

GET方法用于向目标网址发送请求，方法返回一个Response响应对象，Response下一小节详细讲解。

GET方法的参数：

url：必填，指定请求的URL

params：字典类型，指定请求参数，常用于发送GET请求时使用

例子：

1. import requests
2. url = 'http://www.httpbin.org/get'
3. params = {
4. 'key1':'value1',
5. 'key2':'value2'
6. }
7. response = requests.get(url=url,params=params)
8. print(response.text)

结果：

 

 

headers：字典类型，指定请求头部

例子：

1. import requests
2. url = 'http://www.httpbin.org/headers'
3. headers = {
4. 'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
5. }
6. response = requests.get(url=url,headers=headers)
7. print(response.text)

结果：

 

 

proxies：字典类型，指定使用的代理 

例子：

1. import requests
2. url = 'http://www.httpbin.org/ip'
3. proxies = {
4. 'http':'113.116.127.164:8123',
5. 'http':'113.116.127.164:80'
6. }
7. response = requests.get(url=url,proxies=proxies)
8. print(response.text)

结果：

 

 

cookies：字典类型，指定Cookie 

例子：

1. import requests
2. url = 'http://www.httpbin.org/cookies'
3. cookies = {
4. 'name1':'value1',
5. 'name2':'value2'
6. }
7. response = requests.get(url=url,cookies=cookies)
8. print(response.text)

结果：

 

 

auth：元组类型，指定登陆时的账号和密码

例子：

1. import requests
2. url = 'http://www.httpbin.org/basic-auth/user/password'
3. auth = ('user','password')
4. response = requests.get(url=url,auth=auth)
5. print(response.text)

结果：

 

verify：布尔类型，指定请求网站时是否需要进行证书验证，默认为 True，表示需要证书验证，假如不希望进行证书验证，则需要设置为False

1. import requests
2. response = requests.get(url='https://www.httpbin.org/',verify=False)

结果：

 

但是在这种情况下，一般会出现 Warning 提示，因为 Python 希望我们能够使用证书验证。

如果不希望看到 Warning 信息，可以使用以下命令消除：

1. import urllib3
2. urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

timeout：指定超时时间，若超过指定时间没有获得响应，则抛出异常

1.2.2 POST请求

POST请求和GET请求的区别就是POST数据不会出现在地址栏，并且数据的大小没有上限。

所以GET的参数，POST差不多都可以使用， 除了params参数，POST使用data参数即可。

data：字典类型，指定表单信息，常用于发送 POST 请求时使用

例子：

1. import requests
2. url = 'http://www.httpbin.org/post'
3. data = {
4. 'key1':'value1',
5. 'key2':'value2'
6. }
7. response = requests.post(url=url,data=data)
8. print(response.text)

结果：

1.3  requests响应

1.3.1 response属性

使用GET或POST请求后，就会接收到response响应对象，其常用的属性和方法列举如下：

response.url：返回请求网站的 URL

response.status_code：返回响应的状态码

response.encoding：返回响应的编码方式

response.cookies：返回响应的 Cookie 信息

response.headers：返回响应头

response.content：返回 bytes 类型的响应体

response.text：返回 str 类型的响应体，相当于response.content.decode('utf-8')

response.json()：返回 dict 类型的响应体，相当于json.loads(response.text)

1. import requests
2. response = requests.get('http://www.httpbin.org/get')
3. print(type(response))
4. # <class 'requests.models.Response'>
5. print(response.url) # 返回请求网站的 URL
6. # http://www.httpbin.org/get
7. print(response.status_code) # 返回响应的状态码
8. # 200
9. print(response.encoding) # 返回响应的编码方式
10. # None
11. print(response.cookies) # 返回响应的 Cookie 信息
12. # <RequestsCookieJar[]>
13. print(response.headers) # 返回响应头
14. # {'Access-Control-Allow-Credentials': 'true', 'Access-Control-Allow-Origin': '*', 'Content-Encoding': 'gzip', 'Content-Type': 'application/json', 'Date': 'Mon, 16 Dec 2019 03:16:22 GMT', 'Referrer-Policy': 'no-referrer-when-downgrade', 'Server': 'nginx', 'X-Content-Type-Options': 'nosniff', 'X-Frame-Options': 'DENY', 'X-XSS-Protection': '1; mode=block', 'Content-Length': '189', 'Connection': 'keep-alive'}
15. print(type(response.content))# 返回 bytes 类型的响应体
16. # <class 'bytes'>
17. print(type(response.text)) # 返回 str 类型的响应体
18. # <class 'str'>
19. print(type(response.json())) # 返回 dict 类型的响应体
20. # <class 'dict'>

1.3.2 编码问题

1. #编码问题
2. import requests
3. response=requests.get('http://www.autohome.com/news/')
4. # response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码
5. print(response.text)