菜鸟教程中的scrapy入门教程遇到的小问题和解决方法

关于菜鸟教程中的scrapy入门教程的一些问题,记录以下:

1.在终端运行 scrapy crawl itcast 代码时出错:
Scrapy 1.5.0 - no active project
Unknown command: crawl
Use “scrapy” to see available commands

原因是:默认crawl 命令是cd 到项目的根目录的!!!如图:scrapy_1即为我的根目录名。而scrapy.cfg是存放在mySpider目录下。
解决:打开命令行:
step1: cd mySpider
step2: scrapy crawl itcast
即可解决了
在这里插入图片描述
但是后来又遇到了错误!omg!!!

错误2.在执行爬虫过程中显示错误:
TypeError: write() argument must be str, not bytes
在teacher.html中显示为空白。

解决方案:
修改程序如下:在这里插入图片描述

这里需要注意一点:

open 一定要加上 encoding=‘utf-8’,否则在 f.write 的时候会报错。
response.body 返回的是 bytes,需要将其 decode 成 string。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值