谷歌浏览器获取cookies方法

        以爬取豆瓣短评为例,豆瓣短评在未登录的情况下只能爬取220条评论,然后就会403。我试过更换代理ip和headers都没用,但使用cookies登录可以解决这个问题。以下是获取cookies的步骤,获取后直接加在headers里面就好。

1.打开要爬取的网页

        如果是爬取豆瓣短评,就打开对应的评论网页,在评论网页中获取cookie。注意这里如果打开的是豆瓣主页,后期爬虫时会遇见403。

2. 打开:右上角省略号→更多工具→开发人员工具

3. 找到“network”,然后ctrl+r加载

4.在“name”这一列,找到你要爬取的网址,点击一下。 

 5.在request headers里面找到cookie,搞定。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值