爬虫-获取登陆可见页面技术小结-三种方式的比较

方式一，session类的实例化对象

• session类实例化，得到一个对象
• 对象发起post请求，登陆网站
• 成功登陆，会获得网站写入的cookie信息
• 对象发起get请求，本次请求会自动的带上cookie数据

方式二，cookie数据添加到请求头中

• 请求头添加cookies数据，键为cookie，值为一长串字符串
• requests.get(url, headers=请求头)

方式三，发请求是带入cookies参数，值为字典

• request.get(url, headers=请求头， cookies=字典)

关注这个字典的键值对是什么

小结

上面三种做法

核心都是在发起请求的时候，带上cookie给后端验证

通过了验证，就可以得到想要的数据