airflow 基础入门

目录

airflow基础架构图：

基础概念：（Dag、Task、Operator、Drag Run、Task Instance等）

Task Lifecycle（task 生命周期）：

相关链接：

---

airflow基础架构图：

标题图7：基础架构图1

图8：基础架构图2

基础概念：（Dag、Task、Operator、Drag Run、Task Instance等）

图1

图2

Dag(directed acyclic graph) == Workflow

        图1中的整个流程为一个dag

        dag中不允许循环调用

Task

        图1中A/B/C/D/E 都是具体task

        task是operator的具体实现

Operator

        airflow有很多operator，例如：BashOperator、PythonOperator、CustomisedOperator 等，如下图3：

图3

Dag Run

        Dag Run是Dag每次执行的实例（instance）

Task Instance

        Task Instance是Task每次执行的实例（instance）

Execution Date

        task的执行时间

补充：Drag Run、Task Instance、Execution Date的关系

图4：dag run/task instance/execution date

Task Lifecycle（task 生命周期）：

图5：状态图

图6：状态流转图

相关链接：

        优秀教学视频（2h超赞）：https://www.youtube.com/watch?v=K9AnJ9_ZAXE

        官网：Apache Airflow