python3.X爬虫针对拉钩,直聘,大街等招聘网站的简历爬虫遇到的selenium中的cookie转requests中的cookie总结三( pycharm运行,代码篇)

直接上代码:

import requests 

   s = requests.Session()
    cookies= driver.get_cookies() #这里的driver为上一篇中登陆后获取的driver对象
    for cookie in cookies:
        s.cookies.set(cookie["name"], cookie["value"])

 这里面的代码很少,但是有坑,主要两点:

1,利用session来转换,不建议直接requests 来转换cookie

2.就是这里面的cookie转换的时间点要尽可能的靠近你需要进行的requests请求的位置,有的时候会出现你刚登陆后直接driver.get_cookies(),导致获取的cookie失效没有用 requests不能访问获取网页

3.解决这种cookie时效性的问题,我这边使用selenium中每跳转每一页的时候重新生成cookie然后再进行requests进行抓取

后续会讲解下自己对ip代理的使用心得 ,欢迎大家一起交流

如有问题请微信我:13270870157

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值