【Python数据采集系列】一文解读requests.get()和requests.post()的区别

最新推荐文章于 2024-09-05 10:14:29 发布

数据杂坛

最新推荐文章于 2024-09-05 10:14:29 发布

阅读量1.8k

点赞数 21

分类专栏：数据采集文章标签： python 开发语言爬虫 fastapi

本文链接：https://blog.csdn.net/sinat_41858359/article/details/136386725

版权

数据采集专栏收录该内容

7 篇文章 0 订阅

订阅专栏

这是我的第228篇原创文章。

一、引言

requests.get()： requests.get 方法用于发送 HTTP GET 请求，它会向指定的 URL 发送获取页面请求，获取的东西可以缓存到浏览器中，用来获取资源。
requests.post()：requests.post 方法用于发送 HTTP POST 请求，它会向指定的 URL 发送请求，并将请求数据作为请求体发送给服务器。用来向服务器传递数据的，服务器会根据这些数据做出相应的反映，通常是用来模拟用户登录的，用于提交表单数据、上传文件等操作。

二、response = requests.get()

2.1 参数：

url: 必需参数，表示要请求的URL地址。
params: 可选参数，用于指定请求的查询参数。可以是一个字典、列表或字符串。
headers: 可选参数，用于指定请求头部信息。可以是一个字典。
cookies: 可选参数，用于指定请求的Cookies。可以是一个字典。
timeout: 可选参数，用于指定请求的超时时间。可以是一个浮点数或元组。
proxies: 可选参数，用于指定请求的代理服务器。可以是一个字典。
verify: 可选参数，用于指定SSL证书验证方式。可以是一个布尔值或字符串。
stream: 可选参数，表示是否使用流式传输。可以是一个布尔值。

查询参数，以字典的形式进行封装。requests会自动帮我们把这个参数拼接在接口请求地址中

params = {"key1": "value1", "key2": "value2"}

headers请求头部信息，在非API的情况下，请求头比不可少，通常User-Agent、Accept、Cookie等信息，包含信息越多，请求成功的几率越大：

headers = {"User-Agent": "",
        "Accept":"",
        "Cookie":"",
    }

在API请求的情况下，设置Authorization信息

headers = {'Authorization': f'Bearer {access_token}'}

如果url本地访问不了需要科学上网才能访问，这时候就需要设置代理（前提是本地已经搭好了梯子，21881是本地梯子的端口号需要自己去查询）

proxies = {
        'http': 'socks5://127.0.0.1:21881',
        'https': 'socks5://127.0.0.1:21881'
}

三、response = requests.post()

3.1 参数解析：

url: 请求的url，必填；
data: 选填，请求参数；
json: 选填，请求参数；
kwargs：选填，可以传入headers、cookies等。

post请求参数到底是传data还是json，这时候我们要看请求头里的content-type类型(具体参照接口文档，没有接口文档的抓包）。

如果请求头中content-type为application/json, 为json形式，post请求使用json参数。如果请求头中content-type为application/x-www-form-urlencoded，为表单形式，post请求时使用使用data参数。请求类型为application/json，如果想用data传参，需要将字典类型数据转换为json字符串。

3.2 案例：利用gitee的API创建pull request

url：

url = f"https://gitee.com/api/v5/repos/{owner}/{repo_name}/pulls"

设置headers：

headers = {
        "Authorization": f"Bearer {access_token}"
    }

设置data：

data = {
        "title": title,
        "head": head,
        "base": base
    }

发送请求：

resp = requests.post(url, headers=headers, data=data)

作者简介：

读研期间发表6篇SCI数据挖掘相关论文，现在某研究院从事数据算法相关科研工作，结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创，以最简单的方式理解和学习，关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信。