python爬虫动态cookie_【Python】爬虫+动态Cookie获取

一、前言

背景是帮助朋友爬取一个国家网站发布的肺炎疫情统计信息。

二、遇到的问题

朋友本来是打算按照最基本的方法进行爬取，代码如下：

import requests

import re

URL = "xxxxxx"

r = requests.get(URL)

#print(r)

但这样收到服务器的回复是HTTP 412，没有获得正常的回应。这就非常奇怪了，请求的页面看起来也是静态页面，没有跟用户进行交互，用浏览器打开能正常访问。由此猜测可能设置了"反爬虫"的操作，因此使用Postman发送请求试试看，结果还是HTTP 412，也返回了一个页面，但页面内容是JS代码。猜测可能是请求头需要设置新内容，服务器会根据请求头来返回相应的信息，于是用Chrome浏览器找到了请求头里的每一项。经过多次尝试，找到了请求头需要加Cookie这一项，否则无法传回目标网页信息。改写代码如下：其中Cookie内容从浏览器复制

URL = "xxxxx"

headers = {'Cookie':'ainfaoifivbiu'}

r = requests.get(URL,headers=headers)

返回信息显示HTTP 200，总算能正常获取页面了！

(还是有深深的疑惑：为啥这种公布信息的网站还要设置Cookie的限制呢？防止DDos？)

三、深入问题

虽然加入Cookie能获得目标网页信息，但是经测试Cookie的时效太