scrapy将item 转存(dump)到 JSON/CSV/XML/PICKLE/MARSHAL 格式文件以及ftp远程输出

dump 到 JSON 格式文件:
scrapy crawl myspider -o items.json #内容是JSON格式
另外我们还可以每一个item输出一行JSON,输出后缀为jl,为jsonline的缩写,命令如下:
scrapy crawl myspider -o items.jl 或 scrapy crawl myspider -o items.jsonlines
dump 到 CSV 格式文件:
scrapy crawl myspider -o items.csv
dump 到 XML 格式文件:
scrapy crawl myspider -o items.xml
dump输出pickle格式文件:
scrapy crawl myspider -o items.pickle
dump输出marshal格式文件:
scrapy crawl myspider -o items.marshal
ftp输出需要正确配置用户名、密码、地址、输出路径,否则会报错
scrapy crawl myspider -o ftp://user:pass@ftp.example.com/path/to/items.csv

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值