打造一个轻量级企业基本信息采集框架（六）

前言

时间流逝，光影似箭（咳咳，开始装逼了）。我们的采集框架就到了最后的关头了，之前的种种努力，无非就是为了最后一刻的荣耀，这个时候，你们是不是有点情不自禁的小激动，甚至想哭。啊啊啊，太不容易，这么小的框架还要分六个篇章来写，你唬谁呢。嘿嘿，我只不过是让你们能看的舒服一点嘛。不扯淡了，简单说下最后部分的设计。

正文

虽然之前我们分了5个部分去设计代码，整体的架构依然清晰，但是总感觉缺少那么一个部分，就是启动器。纵观全文，从何处开始采集呢，如果实现循环采集呢。这边就不卖关子了，直接see code。

# -*- coding: utf-8 -*-
from multiprocessing import Process
from db_connect import RedisDbConn
from crawl_basicinfo import EpregAppCollect
from crawl_detailinfo import DetailCollect
from config import *
import time
from loguru import logger


class Scheduler():
    # def __init__(self):
    #     self.client = RedisDbConn()
    #     self.init_status = INIT_STATUS


    def schedule_basic(self,cycle = BASCI_CYCLE):
        """
        定时采集企业的基本信息
        :param cycle:
        :return:
        """

        basic = EpregAppCollect()
        while True:
            count = RedisDbConn().get_count(INIT_STATUS, PARAMS_REDIS_DB)
            if count > 1000:
                logger.info("数据库已经有" + count + "的企业详细信息还未采集，基本信息采集暂停")
                BASIC_ENABLED = False
            else:
                BASIC_ENABLED = True
            if BASIC_ENABLED:
                logger.info("开始抓取企业基本信息~~~~")
                basic.run()
            time.sleep(cycle)

    def schedule_detail(self,cycle=DETAIL_CYCLE):
        """
        采集企业详细信息
        :param cycle:
        :return:
        """

        getter = DetailCollect()
        while True:
            if GETTER_ENABLED:
                logger.info("开始抓取企业详细信息~~~~")
                getter.run()
            time.sleep(cycle)


    def run(self):
        logger.info("企业采集脚本开始运行~~~")


        test_process = Process(target=self.schedule_basic)
        test_process.start()
        # test_process.join()


        test_process = Process(target=self.schedule_detail)
        test_process.start()
        # test_process.join()



if __name__ == '__main__':
    spider = Scheduler()
    spider.run()

这边是建立了一个schedule.py文件，用来做启动器，内部用多进程管理两个部分采集，一个是基础采集，还有个是详细内容采集，我们可以只看基础部分就好了，在这边我设置了一个基础详细企业名称最大为1000，如果想超过1000，我们就先把这一块的内容采集了，再去采集其他企业进行分词，堆积太多可能会导致链接失效。运行它，我们整个框架就圆满了。下面是运行截图：


完整项目请见
github