Airflow:基于DAG的任务处理平台

Airflow 是一个以编程方式创作、计划和监控工作流的平台。官方

使用 Airflow 将工作流创作为任务的有向无环图 （DAG）。Airflow 是基于DAG的任务管理系统，可以简单理解为是高级版的crontab。Airflow 计划程序在遵循指定依赖项的同时，对工作线程数组执行任务。丰富的命令行实用程序使在 DAG 上执行复杂手术变得轻而易举。借助丰富的用户界面，可以轻松可视化生产中运行的管道、监控进度并在需要时解决问题。

当工作流被定义为代码时，它们将变得更加可维护、可版本控制、可测试和协作。

Airflow 界面：

 Airflow 技术架构

 

Airflow组件构成：

• Cheduler：它处理触发计划的工作流和将任务提交到执行程序以运行。
• Executor：在默认的 Airflow 安装中，这会在调度程序中运行所有内容，但大多数适合生产的执行器实际上将任务执行推送给工作