weixin_46607513的博客

原创 谷歌浏览器获取cookies方法

以爬取豆瓣短评为例，豆瓣短评在未登录的情况下只能爬取220条评论，然后就会403。我试过更换代理ip和headers都没用，但使用cookies登录可以解决这个问题。以下是获取cookies的步骤，获取后直接加在headers里面就好。1.打开要爬取的网页如果是爬取豆瓣短评，就打开对应的评论网页，在评论网页中获取cookie。注意这里如果打开的是豆瓣主页，后期爬虫时会遇见403。2. 打开：右上角省略号→更多工具→开发人员工具3. 找到“network”，然后ctrl+r...