gaoshayo的博客

目标如题先进入cmd进入想要创建项目的文件夹，例如cd C:\Users\MI\Desktop\python学习\python爬虫学习内容\13_scrapy1然后在cmd输入 crapy startproject dangdang这样就创建了一个scrapy的项目框架如下图进入douban再进入douban文件夹（子）spider文件夹内部：其中的bestseller.py ， main.py文件在创建scrapy框架时时没有的，后续会提到创建框架部分说完了。接着是代码部分

scrapy介绍上面的这张图是Scrapy的整个结构。你可以把整个Scrapy框架看成是一家爬虫公司。最中心位置的Scrapy Engine(引擎）就是这家爬虫公司的大boss，负责统筹公司的4大部门，每个部门都只听从它的命令，并只向它汇报工作。我会以爬虫流程的顺序来依次跟你介绍Scrapy爬虫公司的4大部门。Scheduler(调度器)部门主要负责处理引擎发送过来的requests对象（即网页请求的相关信息集合，包括params，data，cookies，request headers…等），会把

如果在win系统中直接运行这部分内容，会产生以下bug查了非常多资料，各种方法都试了，然而，其实是本身代码出了问题。对于linux来说，这个代码没问题，但是对于win，os.system(‘clear’)的clear应该换成cls，即os.system(‘cls’)，这样代码就没问题了以上。...