简化理解 Scrapy 爬虫框架

mywang88

2019-08-14

简介

一年前开始接触 Python 和网络爬虫技术。

彼时由于基础较为薄弱，在使用 Scrapy 框架时产生了不少疑惑。于是果断放弃，改用 Requests 扩展库，打算在网络爬虫开发的实践中，逐步明白框架的设计意义。

期间补充了不少的 Python 语法知识，以及程序设计思想。

虽然缓慢，但也算有进步，于是决定水一贴。

基于对 Scrapy 框架的初步理解，将其进行了极大简化，只强调核心逻辑。

代码

from requests import Request, Session

class Engine:
    @classmethod
    def run(cls):
        Scheduler