python使用Cookie登录网页爬取信息(超简单)
因为工作原因,需要爬取一个医疗行业的网站的信息,而且目标网站还要登录才给你展现完整的页面,所以有了本文……
看了好多爬取需要登录的博客,过程不表(–__–),大部分都太复杂了,最后,我参考了几个简单的文章,这里做下记录,希望帮到有缘人,以下是正文…
构建headers
1、‘User-Agent’
让程序伪装成浏览器,从网页上找到自己浏览器的标识,大家应该知道怎么找到,具体的如图:
2、Cookie
还是那个位置,找到我们专属Cookie,注意是要登录后的Cookie,具体如图:
3、代码
一切不贴代码的教程都是耍流氓
import requests
session