06.爬虫---urllib与requests请求实战(POST)

06.urllib与requests请求实战POST


POST请求
Python中的POST请求是HTTP协议中的一种请求方法,用于向服务器提交数据。与GET请求不同,POST请求将数据封装在请求体中,而不是在URL中传递。通常情况下,POST请求用于向服务器提交表单数据、上传文件等操作。

urllib与requests详细介绍在这里,就不再叙述,避免文章重复,杂乱 --urllib与requests请求实战(GET)

1.Urllib模块

使用示例:

import urllib.parse
import urllib.request

url = 'http://baidu.com'
data = bytes(urllib.parse.urlencode({'name': 'meng','age': 19}), encoding='utf-8')
response = urllib.request.urlopen(url, data=data)
print(response.read().decode('utf-8'))

2.Requests模块

使用示例:

import requests

url = 'http://baidu.com'
headers = {
    'User-Agent': 'xxxx'
}

data = {'name': 'meng', 'age': 19}

response = requests.post(url, data = data,headers = headers)
print(response.text)

3.实战(Requests)

https://e.juejin.cn/resources/github 为例
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
从这个https://e.juejin.cn/resources/github 接口拿到了载荷,也就是 请求体 body

{
    "category": "trending",
    "period": "month",
    "lang": "python",
    "offset": 0,
    "limit": 30
}

接下来就可以通过代码去拿数据了

import requests

url = 'https://e.juejin.cn/resources/github'
headers = {
    # 伪装浏览器
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 '
                  'Safari/537.36'
}
#载荷 请求体
data = {
    "category": "trending",
    "period": "month",
    "lang": "python",
    "offset": 0,
    "limit": 30
}
response = requests.post(url, data=data, headers=headers)
print(response.text)

在这里插入图片描述
返回数据:
在这里插入图片描述
注意:下面是请求不通的实例

  • 请求地址:
    在这里插入图片描述
  • 请求体:
    在这里插入图片描述
  • 响应体:
    在这里插入图片描述
  • 代码如下:
import requests

url = 'https://api.juejin.cn/recommend_api/v1/short_msg/hot?aid=6587&uuid=7352457603614098982'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 '
                  'Safari/537.36',
    'Content-Type':'application/json'
}

data = {
    'cursor': '0',
    'limit': 30,
    'id_type': 4,
    'sort_type': 200
}
response = requests.post(url,data=data,headers=headers)
print(response.json())
  • 返回结果:
{'err_no': 2, 'err_msg': '参数错误', 'data': None}

参数错误???,也是困扰了我个多小时,当我把参数拿出来对比时发现了有点微妙

response = requests.post(url,data=data,headers=headers)
print(response.request.body)
print(response.json())

response.request.body 返回了

cursor=0&limit=30&id_type=4&sort_type=200

cursor 原本是字符串 ‘0’ ,转后变成了 0

  • 修改请求代码
response = requests.post(url,json=data,headers=headers)
print(response.request.body)
print(response.json())

response.request.body 返回了

{"cursor": "0", "limit": 30, "id_type": 4, "sort_type": 200}
  • 修改后返回结果:

在这里插入图片描述
拿到了!!!,哎

  • 13
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值