四、ITcast小爬虫-- -o指定输出格式的文件

此次演示的ITcast小爬虫没有写管道文件,而是将所有的item存到一个列表中,运行爬虫时通过-o指定输出文件格式来保存信息。

原理:通过下面列出的itcast.py 文件的  return items 可知,爬虫文件返回给引擎的信息并不是字段item,而是自定义的列表items,此时引擎会判断出并非item,则会按照我们的命令来存储信息。

运行命令:scrapy crawl itcast -o teachers.json

这里teachers.json 将保存爬取下来的信息,也可以输出成其他格式的文件。

 

scrapy保存信息最简单的方法主要有四种,-o指定输出格式的文件,命令如下:

#json格式,默认为Unicode编码

scrapy crawl itcast -o teachers.json

#json lines格式,默认为Unicode编码

scrapy crawl itcast -o teachers.json1

#csv逗号表达式,可用Excel打开

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值