scrapy -o xxx.json 命令,不开启pipeline,也可以将item写入到一个json文件中

如果想保存item到一个json文件中,除了使用pipeline进行写入保存外,还可以使用一行命令,就写入json文件。
# spider 是你的爬虫文件名字,可替换
# -o 是表示输出到文件的命令,不可替换
# xxx.json 是你要输出的文件名字,可替换
scrapy crawl spider -o xxx.json   
可能出现的问题:
1、如果这个命令执行完,已经生产xxx.json 文件,但是里面没有内容,那可能的原因是,你的spider爬虫文件,最后没有yield item,加上yield item重新尝试一次。
2、如果保存的json,中文乱码,可以在settings文件中写入一行FEED_EXPORT_ENCODING = ‘utf-8’
(以上步骤是在不开启pipeline的情况下就可以完成的。)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值