scrapy工程调试(2day)

第一天，我们已经将工程新建好。如下图：

接着开始撸代码：

第一步：定义返回的信息

入门案例代码如下。打码的内容需要自己定义

第二步：执行爬虫

在工程目录，输入scrapy crawl '爬虫识别名称'  --这个爬虫识别名称即是第一步定义的name的内容

 

一般不会报错，如果报错，请检查代码，以及scrapy的包，是否下载完全（其他错误建议百度）

第三步，检查下载到本地的.html文件

第四步：编辑清洗数据的代码

第四步方法2：使用yield生成器(可以减少内存占用,节约资源,提高效率)

编辑完成后，在工程目录，调用命令窗口，执行：scrapy crawl baseinfoSpider -o baseinfo.json         # 这个是数据保存为json

此时会在工程目录出现json文件。其中的中文将会以二进制保存

第五步：保存返回信息后，可也使用json并转码，检查结果