大数据调度平台 Airflow（五）：Airflow 使用

最新推荐文章于 2024-08-19 11:12:48 发布
最新推荐文章于 2024-08-19 11:12:48 发布
阅读量1.9k 收藏 5
点赞数 1
分类专栏： 数据湖 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wr_java/article/details/130196172
版权

Airflow 使用

上文说到使用 Airflow 进行任务调度大体步骤如下：

  • 创建 python 文件，根据实际需要，使用不同的 Operator

  • 在 python 文件不同的 Operator 中传入具体参数，定义一系列 task

  • 在 python 文件中定义 Task 之间的关系，形成 DAG

  • 将 python 文件上传执行，调度 DAG，每个 task 会形成一个 Instance

  • 使用命令行或者 WEBUI 进行查看和管理

以上 python 文件就是 Airflow python 脚本，使用代码方式指定 DAG 的结构

一、Airflow 调度 Shell 命令

下面我们以调度执行 shell 命令为例，来讲解 Airflow 使用。

1.首先我们需要创建一个 python 文件，导入需要的类库

# 导入 DAG 对象，后面需要实例化DAG对象from airflow import DAG
# 导入BashOperator Operators,我们需要利用这个对象去执行流程from airflow.operators.bash import BashOperator

复制代码

注意：以上代码可以在开发工具中创建，但是需要在使用的 python3.7 环境中导入安装 Airflow 包。

D:\ProgramData\Anaconda3\envs\python37\Scripts>pip install apache-airflow==2.1.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

2.实例化 DAG

from datetime import datetime, timedelta
# default_args中定义一些参数，在实例化DAG时可以使用，使用python dic 格式定义default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2022, 3, 25),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'myairflow_execute_bash', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(days=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)

复制代码

注意：

  • 实例化 DAG 有三种方式

第一种方式：

with DAG("my_dag_name") as dag:    op=XXOperator(task_id="task")

复制代码

第二种方式（以上采用这种方式）：

my_dag = DAG("my_dag_name")op = XXOperator(task_id="task", dag=my_dag)

复制代码

第三种方式：

@dag(start_date=days_ago(2))def generate_dag():    op = XXOperator(task_id="task")dag = generate_dag()

复制代码

  • baseoperator 基础参数说明：

可以参照：

http://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/baseoperator/index.html#module-airflow.models.baseoperator查看baseopartor中更多参数。

  • DAG 参数说明

可以参照：

http://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html

查看 DAG 参数说明，也可以直接在开发工具点击 DAG 进入源码看下对应参数有哪些。

3、定义 Task

当实例化 Operator 时会生成 Task 任务，从一个 Operator 中实例化出来对象的过程被称为一个构造方法，每个构造方法中都有“task_id”充当任务的唯一标识符。

下面我们定义三个 Operator，也就是三个 Task，每个 task_id 不能重复。

# operator 支持多种类型， 这里使用 BashOperatorfirst = BashOperator(    task_id='first',    bash_command='echo "run first task"',    dag=dag)
middle = BashOperator(    task_id='middle',    bash_command='echo "run middle task"',    dag=dag)
last = BashOperator(    task_id='last',    bash_command='echo "run last task"',    dag=dag,    retries=3)

复制代码

注意：

4、设置 task 依赖关系

#使用 set_upstream、set_downstream 设置依赖关系,不能出现环形链路，否则报错# middle.set_upstream(first) # middle会在first执行完成之后执行# last.set_upstream(middle) # last 会在 middle执行完成之后执行
#也可以使用位移符来设置依赖关系first >> middle >>last # first 首先执行，middle次之，last最后# first >> [middle,last] # first首先执行，middle ,last并行执行

复制代码

注意：当执行脚本时，如果在 DAG 中找到一条环形链路（例如：A->B->C-A）会引发异常。更多 DAG task 依赖关系可参照官网：http://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#task-dependencies 

5、上传 python 配置脚本

到目前为止，python 配置如下：

# 导入 DAG 对象，后面需要实例化DAG对象from airflow import DAG
# 导入BashOperator Operators,我们需要利用这个对象去执行流程from airflow.example_dags.example_bash_operator import dag
from airflow.operators.bash import BashOperator
from datetime import datetime, timedelta
# default_args中定义一些参数，在实例化DAG时可以使用，使用python dic 格式定义default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 4),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'myairflow_execute_bash', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(days=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)
# operator 支持多种类型， 这里使用 BashOperatorfirst = BashOperator(    task_id='first',    bash_command='echo "run first task"',    dag=dag)
middle = BashOperator(    task_id='middle',    bash_command='echo "run middle task"',    dag=dag)
last = BashOperator(    task_id='last',    bash_command='echo "run last task"',    dag=dag,    retries=3)
#使用 set_upstream、set_downstream 设置依赖关系,不能出现环形链路，否则报错# middle.set_upstream(first) # middle会在first执行完成之后执行# last.set_upstream(middle) # last 会在 middle执行完成之后执行
#也可以使用位移符来设置依赖关系first >> middle >>last # first 首先执行，middle次之，last最后# first >> [middle,last] # first首先执行，middle ,last并行执行

复制代码

将以上 python 配置文件上传到 AIRFLOWHOME/dags 目录下，默认 AIRFLOW_HOME 为安装节点的“/root/airflow”目录，当前目录下的 dags 目录需要手动创建。

6、重启 Airflow

“ps aux|grep webserver”和“ps aux|grep scheduler”找到对应的 airflow 进程杀掉，重新启动 Airflow。重启之后，可以在 airflow webui 看到对应的 DAG ID ”myairflow_execute_bash”。

7、执行 airflow

按照如下步骤执行 DAG，首先打开工作流，然后“Trigger DAG”执行，随后可以看到任务执行成功。

查看 task 执行日志：

二、DAG 调度触发时间

在 Airflow 中，调度程序会根据 DAG 文件中指定的“start_date”和“schedule_interval”来运行 DAG。特别需要注意的是 Airflow 计划程序在计划时间段的末尾触发执行 DAG，而不是在开始时刻触发 DAG，例如：

default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2022, 3, 25),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'myairflow_execute_bash', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(days=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)

复制代码

以上配置的 DAG 是从世界标准时间 2022 年 3 月 24 号开始调度，每隔 1 天执行一次，这个 DAG 的具体运行时间如下图：

以上表格中以第一条数据为例解释，Airflow 正常调度是每天 00:00:00 ，假设当天日期为 2022-03-24，正常我们认为只要时间到了 2022-03-24 00:00:00 就会执行，改调度时间所处于的调度周期为 2022-03-24 00:00:00 ~ 2022-03-25 00:00:00 ，在 Airflow 中实际上是在调度周期末端触发执行，也就是说 2022-03-24 00:00:00 自动触发执行时刻为 2022-03-25 00:00:00。

如下图，在 airflow 中，“execution_date”不是实际运行时间，而是其计划周期的开始时间戳。例如：execution_date 是 2021-09-04 00:00:00 的 DAG 自动调度运行的实际时间为 2021-09-05 00:00:00。当然除了自动调度外，我们还可以手动触发执行 DAG 执行，要判断 DAG 运行时计划调度（自动调度）还是手动触发，可以查看“Run Type”。

三、DAG catchup 参数设置

在 Airflow 的工作计划中，一个重要的概念就是 catchup（追赶），在实现 DAG 具体逻辑后，如果将 catchup 设置为 True（默认就为 True）,Airflow 将“回填”所有过去的 DAG run，如果将 catchup 设置为 False,Airflow 将从最新的 DAG run 时刻前一时刻开始执行 DAG run，忽略之前所有的记录。

例如：现在某个 DAG 每隔 1 分钟执行一次，调度开始时间为 2001-01-01 ，当前日期为 2021-10-01 15:23:21，如果 catchup 设置为 True，那么 DAG 将从 2001-01-01 00:00:00 开始每分钟都会运行当前 DAG。如果 catchup 设置为 False，那么 DAG 将从 2021-10-01 15:22:20（当前 2021-10-01 15:23:21 前一时刻）开始执行 DAG run。

举例：有 first ,second,third 三个 shell 命令任务，按照顺序调度，每隔 1 分钟执行一次，首次执行时间为 2000-01-01。

设置 catchup 为 True（默认），DAG python 配置如下：

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedelta
default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2001, 1, 1),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}dag = DAG(    dag_id = 'catchup_test1 ', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=1), # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒    catchup=True # 执行DAG时，将开始时间到目前所有该执行的任务都执行，默认为True)
first = BashOperator(    task_id='first',    bash_command='echo "run first task"',    dag=dag)middle = BashOperator(    task_id='second',    bash_command='echo "run second task"',    dag=dag)last = BashOperator(    task_id='third',    bash_command='echo "run third task"',    dag=dag,    retries=3)first >> middle >>last

复制代码

上传 python 配置文件到 $AIRFLOW_HOME/dags 下，重启 airflow,DAG 执行调度如下：

设置 catchup 为 False,DAG python 配置如下：

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedelta
default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2001, 1, 1),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}dag = DAG(    dag_id = 'catchup_test2', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=1), # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒    catchup=False # 执行DAG时，将开始时间到目前所有该执行的任务都执行，默认为True)
first = BashOperator(    task_id='first',    bash_command='echo "run first task"',    dag=dag)middle = BashOperator(    task_id='second',    bash_command='echo "run second task"',    dag=dag)last = BashOperator(    task_id='third',    bash_command='echo "run third task"',    dag=dag,    retries=3)first >> middle >>last

复制代码

上传 python 配置文件到 $AIRFLOW_HOME/dags 下，重启 airflow,DAG 执行调度如下：

有两种方式在 Airflow 中配置 catchup:

  • 全局配置

在 airflow 配置文件 airflow.cfg 的 scheduler 部分下，设置 catchup_by_default=True（默认）或 False，这个设置是全局性的设置。

  • DAG 文件配置

在 python 代码配置中设置 DAG 对象的参数：dag.catchup=True 或 False。

dag = DAG(    dag_id = 'myairflow_execute_bash',default_args = default_args,    catchup=False,    schedule_interval = timedelta(days=1))

复制代码

四、DAG 调度周期设置

每个 DAG 可以有或者没有调度执行周期，如果有调度周期，我们可以在 python 代码 DAG 配置中设置“schedule_interval”参数来指定调度 DAG 周期，可以通过以下三种方式来设置。

  • 预置的 Cron 调度

Airflow 预置了一些 Cron 调度周期，可以参照：

DAG Runs — Airflow Documentation，如下图：

在 python 配置文件中使用如下：

default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 4),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'cron_test', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = '@daily' # 使用预置的Cron调度,每天0点0分调度

复制代码

  • Cron

这种方式就是写 Linux 系统的 crontab 定时任务命令，可以在https://crontab.guru/网站先生成对应的定时调度命令，其格式如下：

minute  hour  day  month  weekminute:表示分钟，可以从0~59之间的任意整数。hour:表示小时，可以是从0到23之间的任意整数。day:表示日期，可以是1到31之间的任何整数。month:表示月份，可以是从1到12之间的任何整数。week:表示星期几，可以是从0到7之间的任何整数，这里的0或7代表星期日。

复制代码

以上各个字段中还可以使用特殊符号代表不同意思：

星号（*）：代表所有可能的值，例如month字段如果是星号，则表示在满足其它字段的制约条件后每月都执行该命令操作。逗号（,）：可以用逗号隔开的值指定一个列表范围，例如，”1,2,5,7,8,9”中杠（-）：可以用整数之间的中杠表示一个整数范围，例如”2-6”表示”2,3,4,5,6”正斜线（/）：可以用正斜线指定时间的间隔频率,步长，例如”0-23/2”表示每两小时执行一次。

复制代码

在 python 配置文件中使用如下：

default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 4),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'cron_test', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = '* * * * *' # 使用Crontab 定时任务命令，每分钟运行一次)

复制代码

  • datetime.timedelta

timedelta 是使用 python timedelta 设置调度周期，可以配置天、周、小时、分钟、秒、毫秒。在 python 配置文件中使用如下：

default_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 4),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'cron_test', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=5) # 使用python timedelta 设置调度周期，可以配置天、周、小时、分钟、秒、毫秒)

复制代码

五、DAG 任务依赖设置

1、DAG 任务依赖设置一

  • DAG 调度流程图

  • task 执行依赖

A >> B >>C

复制代码

  • 完整代码

'''airflow 任务依赖关系设置一
'''from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedeltadefault_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'dag_relation_1', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)

A = BashOperator(    task_id='A',    bash_command='echo "run A task"',    dag=dag)
B = BashOperator(    task_id='B',    bash_command='echo "run B task"',    dag=dag)
C = BashOperator(    task_id='C',    bash_command='echo "run C task"',    dag=dag,    retries=3)
A >> B >>C

复制代码

2、DAG 任务依赖设置二

  • DAG 调度流程图

  • task 执行依赖

[A,B] >>C >>D

复制代码

  • 完整代码

'''airflow 任务依赖关系设置二
'''from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedeltadefault_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'dag_relation_2', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)

A = BashOperator(    task_id='A',    bash_command='echo "run A task"',    dag=dag)
B = BashOperator(    task_id='B',    bash_command='echo "run B task"',    dag=dag)
C = BashOperator(    task_id='C',    bash_command='echo "run C task"',    dag=dag,    retries=3)
D = BashOperator(    task_id='D',    bash_command='echo "run D task"',    dag=dag)
[A,B] >>C >>D

复制代码

3、DAG 任务依赖设置三

  • DAG 调度流程图

  • task 执行依赖

[A,B,C] >>D >>[E,F]

  • 完整代码

'''airflow 任务依赖关系设置三
'''from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedeltadefault_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'dag_relation_3', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)

A = BashOperator(    task_id='A',    bash_command='echo "run A task"',    dag=dag)
B = BashOperator(    task_id='B',    bash_command='echo "run B task"',    dag=dag)
C = BashOperator(    task_id='C',    bash_command='echo "run C task"',    dag=dag,    retries=3)
D = BashOperator(    task_id='D',    bash_command='echo "run D task"',    dag=dag)
E = BashOperator(    task_id='E',    bash_command='echo "run E task"',    dag=dag)
F = BashOperator(    task_id='F',    bash_command='echo "run F task"',    dag=dag)
[A,B,C] >>D >>[E,F]

4、DAG 任务依赖设置四

  • DAG 调度流程图

  • task 执行依赖

A >>B>>C>>DA >>E>>

  • 完整代码

'''airflow 任务依赖关系设置四
'''from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedeltadefault_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'dag_relation_4', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)

A = BashOperator(    task_id='A',    bash_command='echo "run A task"',    dag=dag)
B = BashOperator(    task_id='B',    bash_command='echo "run B task"',    dag=dag)
C = BashOperator(    task_id='C',    bash_command='echo "run C task"',    dag=dag,    retries=3)
D = BashOperator(    task_id='D',    bash_command='echo "run D task"',    dag=dag)
E = BashOperator(    task_id='E',    bash_command='echo "run E task"',    dag=dag)
F = BashOperator(    task_id='F',    bash_command='echo "run F task"',    dag=dag)
A >>[B,C,D]A >>[E,F]

5、DAG 任务依赖设置五

  • DAG 调度流程图

  • task 执行依赖

A >>B>>EC >>D>>E

  • 完整代码

'''airflow 任务依赖关系设置五
'''from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedeltadefault_args = {    'owner': 'airflow', # 拥有者名称    'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间    'retries': 1,  # 失败重试次数    'retry_delay': timedelta(minutes=5),  # 失败重试间隔}
dag = DAG(    dag_id = 'dag_relation_5', #DAG id ,必须完全由字母、数字、下划线组成    default_args = default_args, #外部定义的 dic 格式的参数    schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒)

A = BashOperator(    task_id='A',    bash_command='echo "run A task"',    dag=dag)
B = BashOperator(    task_id='B',    bash_command='echo "run B task"',    dag=dag)
C = BashOperator(    task_id='C',    bash_command='echo "run C task"',    dag=dag,    retries=3)
D = BashOperator(    task_id='D',    bash_command='echo "run D task"',    dag=dag)
E = BashOperator(    task_id='E',    bash_command='echo "run E task"',    dag=dag)
A >>B>>EC >>D>>E

wrr-cat
关注
专栏目录
大数据调度平台Airflow（一）：什么是Airflow
Lansonli（蓝深李）的博客
03-19 3674
什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。 另外，Airflow提供了WebUI可视化界面，提供了工作流节点的运行
大数据调度平台Airflow（五）：Airflow使用
Lansonli（蓝深李）的博客
03-25 3786
目录 Airflow使用 一、Airflow调度Shell命令 1.首先我们需要创建一个python文件，导入需要的类库 2.实例化DAG 3、定义Task 4、设置task依赖关系 5、上传python配置脚本 6、重启Airflow 7、执行airflow 二、DAG调度触发时间 三、DAG catchup 参数设置 四、DAG调度周期设置 五、DAG任务依赖设置 1、​​​​​​​DAG任务依赖设置一 2、​​​​​​​DAG任务依赖设置二 3、​​​​​​​DAG任务
Python知识点：如何使用Airflow进行工作流管理与调度
最新发布
bigorsmallorlarge的专栏
08-19 767
Apache Airflow 是一个强大的工具，适用于编排和管理复杂的工作流。通过 DAG 定义任务，Airflow 能够自动化调度和监控任务执行，帮助确保数据管道的可靠性和可维护性。掌握 Airflow 的基本用法后，你可以进一步探索其高级功能，如动态 DAG 生成、任务依赖传递、XComs 数据传递等，以应对更复杂的数据处理场景。
airflow基本使用
Mr_WoLong
05-10 1720
一、airflow简介 1.安装运行环境Anaconda 访问Anacondahttps://www.anaconda.com/distribution/#linux，下载安装包 在Linux中下载Anaconda的脚本，执行脚本。安装好Anaconda后，安装包会自动选择不将Anaconda添加至环境变量，在安装的最后会出现添加环境变量的提示，复制后在bash中运行即可。 也可使用minianc...
Airflow使用指南【About云整理】.pdf
06-30
About云整理的Airflow使用指南 1. 如何安装和配置 Airflow? 2. 如何通过 Airflow UI 监控 data pipeline （管道）并对其进行故障排除 3. 什么是 Airflow Platform ？ 4. Airflow 是如何进行数据分析，追踪数据，调试数据流的？ 5. Airflow 命令行接口的基本操作有哪些？
Airflow 中文文档：使用操作器
热门推荐
龙哥盟
11-28 3万+
操作器代表一个理想情况下是幂等的任务。 操作员确定DAG运行时实际执行的内容。 有关更多信息，请参阅Operators Concepts文档和Operators API Reference 。 BashOperator 模板 故障排除 找不到Jinja模板 PythonOperator 传递参数 模板 Google云端平台运营商 GoogleCloudStorageToBig...
airflow使用指南-机器学习工程自动化
weixin_42010722的博客
11-21 4015
airflow使用指南1.airflow简介1.1 DAG2. airflow架构3.airflow核心模块3.1 模块3.2 Operators模块4.airflow安装与使用4.1 安装airflow4.2 修改默认路径4.3 修改默认数据库4.4 初始化数据库4.5 添加用户4.6 启动web服务4.7 启动定时任务4.8 编写airflow自动化代码模版 1.airflow简介 Apache Airflow是一个开源工作流管理平台。它可以帮助您实现数据管道和ML管道的自动化，并在行业中广泛应用。您可
全流程调度-Airflow介绍和使用
迷雾总会解
06-13 7742
Airflow是一个以编程方式编写，安排和监视工作流的平台。使用Airflow将工作流编写任务的有向无环图（DAG）。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。
Airflow: 大数据调度工具详解
在路上的专栏
07-04 1314
Apache Airflow是一款开源的工作流调度平台，广泛应用于ETL流程、数据处理、定时任务和机器学习工作流等场景。其通过Python脚本定义DAG，实现任务的编排和调度，提供友好的Web UI进行监控和管理。Airflow具备灵活性高、扩展性好、可视化界面等优点，但也存在配置复杂、性能开销等挑战。通过合理的部署和优化，Airflow可以显著提升数据处理和调度的效率，成为数据工程师和数据科学家不可或缺的工具。
Airflow介绍使用.pdf
06-08
本pdf详细介绍了Airflow的使用和容器化操作，以及和主流调度器的区别。主要包括以下几个方面： 1，Airflow介绍 2，AirFlow与其他主流作业调度工具的对比 3，Airflow使用 4，Airflow容器化
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试
Lansonli（蓝深李）的博客
04-02 9384
目录 Airflow分布式集群搭建及测试 一、节点规划 二、airflow集群搭建步骤 1、在所有节点安装python3.7 2、在所有节点上安装airflow 三、初始化Airflow 1、每台节点安装需要的python依赖包 2、在node1上初始化Airflow 数据库 四、​​​​​​​创建管理员用户信息 五、​​​​​​​配置Scheduler HA 1、下载failover组件 2、使用pip进行安装failover需要的依赖包 3、node1节点初始化failover
大数据调度平台Airflow（四）：Airflow WebUI操作介绍
Lansonli（蓝深李）的博客
03-22 4449
Airflow WebUI操作介绍 一、DAG DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。 点击以上每个DAG对应的id可以直接进入对应“Graph View”视图，可以查看当前DAG任务执行顺序图。 以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前DAG执行的某种状态，鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后，出现以下选项： Tree
Airflow安装配置和使用
weixin_62015493的博客
04-10 1339
Airflow是一个由Airbnb开发的开源工作流平台，使用Python编写。它基于DAG（有向无环图）进行任务管理，可以方便地实现任务的调度、监控和管理。与crontab等传统任务管理工具相比，Airflow不仅解决了任务依赖问题，还能方便地查看任务的执行状况、追踪任务历史执行情况，并在任务执行失败时发送邮件通知和查看错误日志。Airflow拥有与Hive、Presto、MySQL、HDFS、Postgres等数据源交互的能力，并且提供了钩子（hook）使其具有良好的扩展性。
airflow使用
语于冰
04-15 406
title: airflow使用 date: 2020-06-3 00:52:54 categories: 编程 tags: python 调度 airflow airflow是什么 airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时，airflow 提供了丰富的命令.
Airflow 使用及原理分析
Docker的专栏
11-16 3191
Airflow 入门及使用什么是 Airflow？Airflow 是一个使用 Python 语言编写的 Data Pipeline 调度和监控工作流的平台。Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。这个平台拥有和 Hive、Presto、MySQL、HDF...
Airflow：工作流调度的原理与使用指南
Aaron_945的博客
06-17 1714
Airflow 使用 Python 的 DAGs（Directed Acyclic Graphs，有向无环图）来定义工作流。DAGs 是一系列相互依赖的任务（tasks），它们按照特定的顺序执行。每个任务都可以是任何你想要执行的代码，例如 SQL 查询、Python 函数调用或 API 调用等。
Airflow从入门到实战（万字长文）
weixin_45417821的博客
01-19 1万+
Airflow 是一个以编程方式编写，安排和监视工作流的平台。使用 Airflow 将工作流编写任务的有向无环图（DAG）。Airflow 计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在 DAG 上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。
开源的大数据调度平台可以统一管理大数据相关组件请举例说明
04-05
以下是几个开源的大数据调度平台，它们可以统一管理大数据相关组件： 1. Apache Oozie：Apache Oozie是Apache Hadoop生态系统中的一款工作流引擎，可以用于调度和管理各种Hadoop作业，例如MapReduce、Pig、Hive、Sqoop等。 2. Apache Airflow：Apache Airflow是一个基于Python的工作流管理系统，可以用于调度和管理各种作业，包括ETL作业、数据处理作业、机器学习作业等。它支持多种执行器，包括本地执行器、SSH执行器、Celery执行器等。 3. Apache NiFi：Apache NiFi是一个基于流处理的数据集成系统，可以用于实时地收集、处理和分发数据。它支持可视化的流程设计和管理，可以管理各种数据源和目标，包括文件、数据库、Kafka、Hadoop等。 4. Azkaban：Azkaban是一个开源的批处理工作流管理系统，可以用于调度和管理各种批处理作业，例如Hadoop作业、Spark作业、Pig作业等。它支持多种执行器，包括本地执行器、SSH执行器、Hadoop执行器等。 这些开源的大数据调度平台都可以帮助企业统一管理大数据相关组件，提高数据处理的效率和可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值