- 博客(1)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scrapy下载不了图片，提示403错误
问题：图片链接在浏览器打开没问题，但是在代码里面就是下载不了数据，提示403错误 可能原因： 原因一：抓取的网站有反爬虫机制，需要设置user-agent，Referer，cookie，时间间隔之类的，网上大部分文章也是这样说。 原因二：headers设置问题，这也是我遇到的问题，重点来了，原来ImagePipeline的headers是用settings里面的DEFAULT_REQUEST_HEADERS默认值为基础再叠加上自己设置的headers，也就是说你不止在下载图片的pipeline里面设置
2020-10-14 10:46:39
977
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人