抓取雪球的时候遇到一个问题,cookies失效导致爬虫失败
解决方案:
- 每次手动更新浏览器cookies
【评价】爬一次还好,要是需要更新就扑街了 - 访问首页获取cookies
【评价】之前也想过,但是没有加header所以还是被ban了,
【要点】获取首页cookies时~~~ 使用不加cookies的 header(仔细想想也是本来就是来骗cookie的…………)
link1="https://xueqiu.com"
header1={
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Connection': 'keep-alive',
#'Cookie': '