从新获取jar_【爬虫】一个简单方便的获取cookie的python库

前言

很久之前学过一点点爬虫，前几天需要爬一点资料所以又捡起来了。算是小需求所以也没用太复杂的框架，就 Requests+正则 就 ok 了。遗憾的是，需要爬的目标站是那种登录才可以见全文的那种网站，所以我得想办法获取 cookie。网上搜了一下，比较简单的方法有两种，一种是直接查看登录后网站存储的 cookie，然后解析使用。另一种是构造一个登录函数，登录后再获取 cookie。前者最为方便，但由于 cookie 会失效，所以需要及时获取新的 cookie，不适合自动化工作。后者不用担心时效性，但是构造一个合适的请求并成功登录还是有点难度的(至少我从来没有成功过)，而且面对手机号 + 验证码登录的网站就抓瞎了。本文在将会介绍一个 python 库 browser_cookie3，只要在 Chrome 或者 Firefox 上成功登录，这个库就会自动抓取已经存储到本地的 cookie，尝试了一下还是挺好用的。

当然，我们之前还介绍过 webscraper^[1] 这个 Chrome 插件，同样不用考虑 cookie 的问题，但是因为不太灵活，所以我也很少再用了。

在文章开始前，我要提醒一下读者，本人对爬虫相关知识并不是非常了解，可能对 cookie 的解释有错误之处，仅供参考，如有不同意见可以在评论区交流。

方法一：直接解析 cookie