Requests通过Session保持会话,获取数据

最近在爬一个网站,通过登录之后,获取信息。

遇见的问题:

        采取的selenium模拟登陆。因为有验证码的关系,直接用requests实现登陆不太方便,所以采用的selenium模拟登陆。

        登陆之后,使用selenium中的get_cookies获取的cookie 并不能直接拿回数据,和数据所在的请求接口中的cookie有区别。

        真实数据所在的cookie多了一个参数。

经过一番的js调试,想要模拟出set-cookie的过程,直接破解cookie来拿回数据。

一番调试之后,发现js的层级关系过于复杂,选择了放弃。

后来选择了Session保持会话的功能来获取数据。

通过抓包之后发现:

 数据所在请求接口之前,先访问了这样一个页面:

接着往上寻找,

发现这样一个页面请求:

对两个框中的url进行拼接。

是不是可以得到url?接着用session进行保持会话即可。

代码如下:

def session_keep(self):
    try:
        url = '
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值