要爬取的网页数据只有在登陆之后才能获取,所以我从浏览器中copy了登录后的cookie到scrapy项目settings文件的请求头中,但是程序执行完之后发现并没有获取到数据,控制台打印出来的debug信息提示需要登录,也就是说我在请求头中添加的cookie并没有效果。后来在网上查了资料,发现如果要携带cookie的话是需要设置的,如下所示:
在settings文件第37行的地方,默认是注释掉的,我们只需要解注释就可以了,程序会默认使用settings文件请求头中的cookie
网上看到一篇文章说是有三种设置cookie的方式,上面说的只是其中一种,也是相对小白的一种,有兴趣的可以看看这篇文章,只是写的有点不是很详细,刚入门的话有点难理解。链接: https://blog.csdn.net/weixin_44508906/article/details/87895868