爬虫如何利用session方法保持登陆状态(selenium)
爬取网站页面时需要登录后才能访问,否则获取不到页面的实际响应数据有些网站需要我们登陆才能获取访问数据,然而往往登陆页和所要爬取的数据不在同一页面,这里一般都会想到对cookies进行处理的方法,如下所示: 1、先成功登录1次,获取到cookies,处理为字典 2、再改送请求,requests.get(xxx, cookies=cookies)然而requests模块为我们提供一个更加方便的方法,名为session,可以帮助我们维持客户端和服务端的会话状态而不断开: # 1、实例化sess
原创
2020-11-12 01:49:47 ·
7056 阅读 ·
4 评论