以爬取豆瓣短评为例,豆瓣短评在未登录的情况下只能爬取220条评论,然后就会403。我试过更换代理ip和headers都没用,但使用cookies登录可以解决这个问题。以下是获取cookies的步骤,获取后直接加在headers里面就好。
1.打开要爬取的网页
如果是爬取豆瓣短评,就打开对应的评论网页,在评论网页中获取cookie。注意这里如果打开的是豆瓣主页,后期爬虫时会遇见403。
2. 打开:右上角省略号→更多工具→开发人员工具
3. 找到“network”,然后ctrl+r加载
4.在“name”这一列,找到你要爬取的网址,点击一下。
5.在request headers里面找到cookie,搞定。