【Python进阶】requests模块的基础使用
声明
Python进阶课程适合有一定Python基础的同学进行阅读,无Python基础可能会导致阅读者体验感降低
什么是requests
requests是基于Python的一个模块,主要用于模拟HTTP和HTTPS协议的请求,常用与被人们编写爬虫,获取网站数据
准备工作
安装Python
进阶课程不提供安装Python的教程
安装编程工具
如pycharm,vscode,不提供安装教程
安装requests模块
requests模块不属于Python的自带模块,需要额外进行安装
以下是常规的安装方法:
进入CMD输入:
pip3 install requests
执行该代码可以从云端拉取requests模块,默认情况下该方法可能安装较慢,可以通过-i指定pip源,这边演示使用阿里云的pip源
pip3 install requests -i https://mirrors.aliyun.com/pypi/simple
发送第一个请求
在发送请求之前,我们需要先导入requests这个模块
import requests
导入模块后,我们就可以使用requests模块发送第一个请求,以下使用www.baidu.com作为示范
requests.get("https://www.baidu.com/")
执行该代码后,该程序回向百度发送一个GET的请求数据包,但是这个数据包仅仅包含最基础的请求数据,我们可以通过更改代码让它带上其他内容或发送POST数据包
发送POST数据包
requests.post("https://www.baidu.com")
像这样,程序就会以POST的方式向百度发送一个请求数据包
但是往往在实际应用中,我们在传递的时候需要带上一些内容,传递给服务端,或用于数据处理,或用于身份验证,由此,我们便可以指定发送数据包的载荷,也就是数据包的正文
定义POST数据包的data
首先要发送data数据,我们需要构建一个data数据,我们使用变量作为临时存储data数据,这个变量可以是字典类型,也可以是str类型
str类型:
my_data = "data1=hello&data2=world"
字典类型:
my_data = {
"data1":"hello"
"data2":"world"
}
这两个变量的载荷内容都是相同的,唯一不同的是写法,用户可以根据自己的需求进行调整data的写法
有了data之后,我们需要在发送请求的时候带上data
requests.post("https://www.baidu.com/",data=my_data)
这样,服务器就可以收到我们请求中包含的正文并进行处理了
现在,虽然说服务器已经可以接受并处理正文了,但是,现在很多的身份验证等信息都存在与头部(headers)(如:csrftoken),我们需要构造headers来用于服务器的身份验证等
定义数据包的headers
和上述一样,我们需要构建一个headers才能进行发送,但是headers只能支持字典形式
以下是演示
my_headers = {
"x-csrftoken":"testtoken"
}
像发送data一样,我们通过headers=来定义发送数据包的headers
requests.post("https://www.baidu.com/",headers=my_headers)
headers还可以定义很多东西,如cookies、user-agent等等
cookies除了在headers可以定义,也可以单独携带,使用cookies=即可
接收请求内容
既然我们发送了请求,那必定要知道返回的内容,由此我们需要将requests产生的response数据传递给一个变量,用于存储和调用
response = requests.get("https://www.baidu.com/")
存储了response后,可以调用里面的很多内容,如status_code,text,json等等