python爬虫 1.自己定义类实现scrapy框架的基本功能

python爬虫 1.自己定义类实现scrapy框架的基本功能

1.定义调度器，引擎，下载器，爬虫器，管道器

# 调度器，下载器，爬虫器，引擎，管道类

class Scheduler():
    """调度器类"""
    def __init__(self):
        pass

class Downloader():
    """下载器类"""
    def __init__(self):
        pass

class Spider():
    """爬虫器类"""
    def __init__(self):
        pass

class Engine():
    """引擎类"""
    def __init__(self):
        pass

    def run(self):
        pass

class Pipline():
    """管道类"""
    def open_spider(self,spider):
        pass

    def process_item(self,item,spider):
        return item

    def close_spider(self,spider):
        pass

 

posted on 2019-08-15 19:17  张京墨 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/meloncodezhang/p/11359972.html