scrapy概述。

scrapy框架：

   下载页面；解析；并发，深度。

 

 

scrapy engine：相当于while循环，调用调度器的url。

scheduler(调度器)：所以的url存储。

在实际中，只需要编写spiders即可。

 使用scrapy：指定初始的url;

　　　解析器响应内容

　　　　　-给调度器

　　　　　-给item,pipeline,用于格式化，持久化。（相当于导出数据）

例子：

　　在cmd中，scrapy startproject day5_21

　　　　　　　cd day5_21

　　　　　　　scrapy genspider chouti chouti.com

　　　　　　　打开chouti.py进行编辑，

　　　　　　　

  scrapy crawl chouti --nolog(scrapy -help)

  没有运行出结果。

转载于:https://www.cnblogs.com/lxm-001/p/10900221.html