你还不会Python网络爬虫中的requests模块使用《一》

最新推荐文章于 2024-09-23 17:24:27 发布

小可爱酥酥

最新推荐文章于 2024-09-23 17:24:27 发布

阅读量476

点赞数 10

分类专栏：关于Python 文章标签： python flask pycharm 爬虫

本文链接：https://blog.csdn.net/ChengYin1124/article/details/118712337

版权

本文介绍了Python网络爬虫中常用的requests模块，包括模块作用、安装、发送GET请求、响应对象的处理，如解决中文乱码问题，以及如何携带header、参数、cookie进行请求。通过实例讲解了headers、params、cookies参数的使用方法，帮助初学者掌握requests模块的基本操作。

摘要由CSDN通过智能技术生成

替代模块，比如说urllib模块，但是在工作中用的最多的还是requests模块，requests的代码简洁易懂，相对于臃肿的urllib模块，使用requests编写的爬虫代码将会更少，而且实现某一功能将会简单。因此建议大家掌握该模块的使用。

requests模块

1. requests模块介绍

1.1 requests模块的作用：

1.2 requests模块是一个第三方模块，需要在你的python(虚拟)环境中额外安装

1.3 requests模块发送get请求

2. response响应对象

2.1 response.text 和response.content的区别：

2.2 通过对response.content进行decode，来解决中文乱码

2.3 response响应对象的其它常用属性或方法

3. requests模块发送请求

3.1 发送带header的请求

3.2 发送带参数的请求

3.3 在headers参数中携带cookie

3.4 cookies参数的使用

3.5 cookieJar对象转换为cookies字典的方法

requests模块

知识点：

掌握 headers参数的使用
掌握发送带参数的请求
掌握 headers中携带cookie
掌握 cookies参数的使用
掌握 cookieJar的转换方法
掌握超时参数timeout的使用
掌握代理ip参数proxies的使用
掌握使用verify参数忽略CA证书
掌握 requests模块发送post请求
掌握利用requests.session进行状态保持

前面我们了解了爬虫的基础知识，接下来我们来学习如何在代码中实现我们的爬虫

1. requests模块介绍

requests文档http://docs.python-requests.org/zh_CN/latest/index.html

1.1 requests模块的作用：

发送http请求，获取响应数据

1.2 requests模块是一个第三方模块，需要在你的python(虚拟)环境中额外安装

pip/pip3 install requests

1.3 requests模块发送get请求

需求：通过requests向百度首页发送请求，获取该页面的源码

运行下面的代码，观察打印输出的结果

# 1.2.1-简单的代码实现
import requests 

# 目标url
url = 'https://www.baidu.com' 

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

知识点：掌握 requests模块发送get请求

2. response响应对象

观察上边代码运行结果发现，有好多乱码；这是因为编解码使用的字符集不同早造成的；我们尝试使用下边的办法来解决中文乱码问题

# 1.2.2-response.content
import requests 

# 目标url
url = 'https://www.baidu.com' 

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
# print(response.text)
print(response.content.decode()) # 注意这里！