apache airflow

airflow是一个以编程方式创建、调度以及监控工作流的平台。

 

使用airflow将工作流作为任务的有向无环图（DAG），airflow遵循指定的依赖项，同时，在一组worker上执行任务。airflow提供丰富的命令行工具以及用户界面。用户可以轻松地在DAG上执行复杂的操作，也很容易地查看生产环境中运行的pipeline，监控进度以及定位问题。