你还不会Python网络爬虫中的requests模块使用《一》

替代模块，比如说urllib模块，但是在工作中用的最多的还是requests模块，requests的代码简洁易懂，相对于臃肿的urllib模块，使用requests编写的爬虫代码将会更少，而且实现某一功能将会简单。因此建议大家掌握该模块的使用。

 目录

requests模块

1. requests模块介绍

1.1 requests模块的作用：

1.2 requests模块是一个第三方模块，需要在你的python(虚拟)环境中额外安装

1.3 requests模块发送get请求

2. response响应对象

2.1 response.text 和response.content的区别：

2.2 通过对response.content进行decode，来解决中文乱码

2.3 response响应对象的其它常用属性或方法

3. requests模块发送请求

3.1 发送带header的请求

3.2 发送带参数的请求

3.3 在headers参数中携带cookie

3.4 cookies参数的使用

3.5 cookieJar对象转换为cookies字典的方法

---

requests模块

知识点：

• 掌握 headers参数的使用

• 掌握 发送带参数的请求

• 掌握 headers中携带cookie

• 掌握 cookies参数的使用

• 掌握 cookieJar的转换方法

• 掌握 超时参数timeout的使用

• 掌握 代理ip参数proxies的使用

• 掌握 使用verify参数忽略CA证书

• 掌握 requests模块发送post请求

• 掌握 利用requests.session进行状态保持

---

前面我们了解了爬虫的基础知识，接下来我们来学习如何在代码中实现我们的爬虫

1. requests模块介绍

requests文档http://docs.python-requests.org/zh_CN/latest/index.html

1.1 requests模块的作用：

• 发送http请求，获取响应数据

1.2 requests模块是一个第三方模块，需要在你的python(虚拟)环境中额外安装

• pip/pip3 install requests

1.3 requests模块发送get请求

1. 需求：通过requests向百度首页发送请求，获取该页面的源码

2. 运行下面的代码，观察打印输出的结果

# 1.2.1-简单的代码实现
import requests 

# 目标url
url = 'https://www.baidu.com' 

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

知识点：掌握 requests模块发送get请求

---

2. response响应对象

观察上边代码运行结果发现，有好多乱码；这是因为编解码使用的字符集不同早造成的；我们尝试使用下边的办法来解决中文乱码问题

# 1.2.2-response.content
import requests 

# 目标url
url = 'https://www.baidu.com' 

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
# print(response.text)
print(response.content.decode()) # 注意这里！

1. response.text是requests模块按照chardet模块推测出的编码字符集进行解码的结果

2. 网络传输的字符串都是bytes类型的，所以response.text = response.content.decode('推测出的编码字符集')

3. 我们可以在网页源码中搜索charset，尝试参考该编码字符集，注意存在不准确的情况

2.1 response.text 和response.content的区别：

• response.text

  • 类型：str

  • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

• response.content

  • 类型：bytes

  • 解码类型： 没有指定

---

知识点：掌握 response.text和response.content的区别

---