DataCareer的博客

以下解读代码来源于Airflow2.0。使用非SQLite数据库的都是采用异步模式，下文讲解默认是指异步模式。Airflow Scheduler四个进程：Scheduler 主进程Executor 子进程DagFileProcessorManager 子进程DagFileProcessor 子进程（进程数量由DAG文件个数决定）Airflow Scheduler启动过程airflow控制台命令的解析与执行的代码都存放在cli目录，cli_parser.py是命令解析的入口，而启动sch.

注意：本文基于Airflow 1.10解读源码Airflow目前已经成为主流的作业调度工具，支持本地调度、分布式调度、Kubernetes调度。Airflow虽然使用Python实现，但功能依然很强大，其配置参数也多达250个。其中很多核心参数在官方文档解释的并不清楚，所以就不得不看源码。以下内容就是我讲解了Airflow Scheduler的实现原理以及相关的参数作用。正文Airflow总体架构应该可以解读为四个部分:Schelduer、Excutor、DAGFileProcessorManag.