pipeline
牛帅兵
Python
Go
展开
-
scrapy异步写入
下载图片和文本文件自定义图片存储pipeline,是基于Scrapy自带的ImagePipeline实现的,只需要在ImagePipeline的基础上重写图片的保存路径和名称相对应的方法。class ImagePipeline(ImagesPipeline): # 遍历图片的url,然后把图片的item传递给file_path def get_media_requests(self, ...原创 2018-09-18 09:18:06 · 359 阅读 · 0 评论 -
scrapy自定义pipeline的方法
重写该方法可以输出图片或者文件的存储路径下面这两个方法可以实现重命名图片或者文件的名称以及存储路径原创 2018-09-19 08:40:00 · 1070 阅读 · 0 评论