python_lzt的博客

scrapy框架中Spider源码解析一、scrapy架构在讲解spider类之前，我们先来了解下scrapy这个框架的整体架构请看下面scrapy工作流程图1.scrapy引擎(Scrapy Engine)引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。2.调度器(Scheduler)调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引...

一、前言1、scrapy从Terminal中通过genspider命令创建一个蜘蛛，其中包含四个模块，分别为spider，crawlspider，csvfeedspider和xmlfeedspider，其中spider(basic模块)和crawlspider最为常用。2、做过web后台开发的都知道，很多网站中定义url都是有一定规则的（如django路由系统中定义的urls规则就是正则表达式...