Scrapy 数据存储图片和文件

最新推荐文章于 2021-07-18 11:02:15 发布

weixin_30802273

最新推荐文章于 2021-07-18 11:02:15 发布

阅读量153

点赞数

文章标签： python json 数据库

原文链接：http://www.cnblogs.com/guozepingboke/p/10909549.html

版权

Scrapy 数据存储图片和文件

pics_down = requests.get(item['cover'])
with open('W:\pcis\{}.jpg'.format(item['title']),'wb') as f:
    f.write(pics_down.content)
f = open('W:\pcis\{}.jpg'.format(item['title']), 'rb')
item['cover'] = f.read()
f.close()
item['cover'] = str(base64.b16encode(item['cover']))  # 防止数据库转码

scrapy crawl dd(爬虫名称)
# Scrapy中有Medie Pipeline  可以帮助我们下载图片和文件
scrapy crawl dd -o test.json  json文件
scrapy crawl itcast -o teachers.jsonl  json lines格式
scrapy crawl dd -o test.csv  csv文件
scrapy crawl dd -o 'ftp://USER:PASSSWORD@xxxx.com/test.json'  FTP文件服务器

转载于:https://www.cnblogs.com/guozepingboke/p/10909549.html