python爬虫反爬对抗_python爬虫--cookie反爬处理

cookies的处理

作用

保存客户端的相关状态

在爬虫中如果遇到了cookie的反爬如何处理?

手动处理

在抓包工具中捕获cookie,将其封装在headers中

应用场景:cookie没有有效时长且不是动态变化

自动处理

使用session机制

使用场景:动态变化的cookie

session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.

案例

爬取雪球网中的新闻资讯数据:

#获取一个session对象

import requests

headers = {

'user-agent':'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/75.0.3770.100 safari/537.36'

}

session = requests.session()

main_url = 'https://xueqiu.com' #推测对该url发起请求会产生cookie

session.get(main_url,headers=headers)

url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'

params = {

'since_id': '-1',

'max_id': '20346152',

'count': '15',

'category': '-1',

}

page_text = session.get(url,headers=headers,params=params).json()

page_text

如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！