python爬虫教程：基于Python的Post请求数据爬取的方法详解

最新推荐文章于 2024-10-10 19:29:49 发布

置顶

程序员浩然

最新推荐文章于 2024-10-10 19:29:49 发布

阅读量1w

点赞数 3

分类专栏： python爬虫教程文章标签：编程语言 python

本文链接：https://blog.csdn.net/haoxun09/article/details/104705263

版权

本文详细介绍了如何使用Python进行POST请求数据爬取，包括处理含有query参数和空JSON对象的请求，以及利用requests库发起HTTP POST请求。文章适合想要爬取POST请求数据的初学者。

摘要由CSDN通过智能技术生成

这篇文章主要介绍了基于Python的Post请求数据爬取的方法,需要的朋友可以参考下
为什么做这个

和同学聊天，他想爬取一个网站的post请求

观察

该网站的post请求参数有两种类型：（1）参数体放在了query中，即url拼接参数（2）body中要加入一个空的json对象，关于为什么要加入空的json对象，猜测原因为反爬虫。既有query参数又有空对象体的body参数是一件脑洞很大的事情。
一开始先在 apizza网站上了做了相关实验才发现上面这个规律的，并发现该网站的请求参数要为raw形式，要是直接写代码找规律不是一件容易的事情。

源码

import requests
import json
headers = {
    'Accept':'application/json, text/javascript, */*; q=0.01',
    'X-Requested-With':'XMLHttpRequest',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',
    'Content-Type':'application/json',
    'Accept-Encoding':'gzip, deflate',
    'Accept-Language':'zh-CN,zh;q=0.8',
    'Cache-Control':'no-cache',
  }
#空的对象，body参数
data = {