前两天尝试用scrapy自身带的pipeline下载图片和文件,没有事先了解原理直接看别人的代码做例程,但是一直下载不成功,今天系统地学了下scrapy自带的pipeline是怎样工作的,所以在此记录下前面遇到的坑。
首先说下下载文件和图片的两个pipeline: ‘scrapy.pipelines.images.ImagesPipeline’:1,和
‘scrapy.pipelines.files.FilesPipeline’:1,前者是下载图片的,后者是下载文件的我说的文件指的是类似zip,rar等文件的类型,这两个pipeline字段千万不要改,后面的优先级可以改。(我之前做得不成功就是因为我改了pipeline导致一直不成功)。这两个pipeline放在settigns文件中,FILES_STORE = ‘./xsdir’ IMAGES_STORE = ‘./imgdir’,在settings中添加两个保存文件和图片的路径。在items中添加两个关键字段file_urls = scrapy.Field(),image_urls = scrapy.Field(),在主spider文件中,赋值给item时,赋的值应该是数组类型,item1[‘image_urls’] = [imgsrc],item[‘file_urls’] = [fileurl].
用scrapy自带的pipeline下载图片
最新推荐文章于 2022-04-02 12:21:53 发布