《封号码罗》python爬虫之某网站headers分析（十三）

最新推荐文章于 2024-08-11 22:06:01 发布

Python 键盘上的舞者

最新推荐文章于 2024-08-11 22:06:01 发布

阅读量149

点赞数

分类专栏：经验分享爬虫文章标签： python post url cookie xpath

本文链接：https://blog.csdn.net/Python_DJ/article/details/114908853

版权

经验分享同时被 2 个专栏收录

52 篇文章 10 订阅

订阅专栏

爬虫

43 篇文章 20 订阅

订阅专栏

免责声明：仅供学习

from pprint import pprint
import re
import requests
from requests.packages import urllib3

urllib3.disable_warnings()

INDEX_URL = "http://www.zjmazhang.gov.cn/hdjlpt/published?via=pc"
POST_URL = "http://www.zjmazhang.gov.cn/hdjlpt/letter/pubList"

response = requests.get(url=INDEX_URL)
cookies = response.cookies
session = cookies["szxx_session"]
# pprint(session)
# var _CSRF = 'Z2miF39qVvSRJU1hlQiXQsD3vun0gKAbynoMt7R3';
# 这个参数网页里面有，直接正则获取
csrf = re.search("_CSRF = \'(.*?)\';", response.text).group(1)
# print(response.text)


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36",
    "Cookie": f"szxx_session={session}",
    "X-CSRF-TOKEN": f"{csrf}"
}
# print(headers)

data = {
    "offset": 0,
    "limit": 20,
    "site_id": "759010"
}

res = requests.post(url=POST_URL, data=data, headers=headers)
pprint(res.json())