airflow DAGs Coding

残暴之靴

已于 2024-01-12 14:18:27 修改

阅读量420

点赞数 10

文章标签： apache python

于 2024-01-12 14:11:59 首次发布

本文链接：https://blog.csdn.net/weixin_42289790/article/details/135551612

版权

本文介绍了Airflow中DAG视图文件的基本结构，包括DAG对象的参数（如dag_id、default_args、schedule_interval等），任务(task)的组成和执行顺序，以及如何放置、修改和删除DAG文件。还提到如何在WebUI中通过CodeEditor进行DAG视图的实时编辑。

摘要由CSDN通过智能技术生成

在这里插入图片描述

DAG Coding

DAG视图文件: Airflow 执行任务的必要文件(.py), 操作基于v2.7.3

组成

DAG对象
- 参数1：dag_id
- 参数2：默认参数(default_args)
  - owner
  - start_date
    
    …
- 参数3：计划间隔(schedule_interval)
  
  可用内置timedelta 或 cron
- 参数4：catchup
  
  默认为 True
  
  True：从开始日期伊始，将之前未执行的次数都执行完
  
  False: 不会catchup之前未完成的次数
- …
task任务

由各种 Operator 构成，不同的Operator有许多不同的特有参数
- 参数1：task_id
- 参数2：on_failure_callback
  
  task 执行失败后，执行失败回调函数
- 参数3：dag
  
  task 所属的 DAG 对象
- …
执行顺序

使用符号 >>, << 等进行 task 顺序的编排

例子：task1 >> task2 >> task3，task1 完成之后，task2 才能开始；task2 完成之后，task3 才能开始
文件放置位置

Airflow 根目录下的 dags 文件夹内(如未有 dags 文件夹，可自行创建)
删除、更改操作

放置DAG视图文件在目标位置后，会在同级目录下生成 '\pycache’文件夹，会存放被Airflow service 载入的DAG文件视图缓存，如果需要完全删除某个DAG，需将该文件夹内的缓存文件删除。

载入有时候需要重新启动, 即手动关闭服务，后执行 airflow webserver 启动服务

执行:
```
airflow webserver
```
如果需要更改DAG视图，可以选择更改替换文件，或是在 web UI 通过插件进行直接更改

如何进入DAG web UI 更改界面：

首页 --> Admin --> DAGs Code Editor

之后则可选择DAG文件，进行更改。