超级会员免费看
本文介绍了Airflow的核心组成部分，包括DAG（有向无环图）及其依赖关系， Operators（如BashOperator、PythonOperator等）用于执行具体任务，timezone管理调度时区，Webserver展示DAG并提供交互，Scheduler负责作业调度，Worker与Executor（Sequential、Local、Celery）处理任务执行。
1. DAG
Linux的额crontab和Windows的“任务计划”都可以配置定时任务或间隔任务，但不能配置作业之间的依赖关系。Airflow中的DAG就是管理作业依赖关系的。DAG(Directed Acyclic Graphs)翻译为有向无环图，如下图所示就是一个简单的DAG。
在Airflow中，这种DAG是通过编写Python代码来实现的，DAG的编写非常简单，官方提供了很多例子，在安装完成后，启动webserver即可看到DAG样例的源代码（其实是定义了DAG对象的Python程序），稍做修改即可成为自己的DAG。上图中的DAG依赖关系，通过下图三行代码即可完成，非常简洁明了。
2. 操作符--Operators
DAG定义一个作业流，Operators则定义了实际需要执行的作业。Airflow提供了需要Operators来指定需要执行的
订阅专栏 解锁全文
扫一扫
312
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
