- 博客(4)
- 收藏
- 关注
RSS订阅原创 【Airflow】TaskGroup使用实例
设置上下游任务的时候可以设为任务组，有必要时会应用于组内所有的任务。task group本质是将多个任务同时进行触发时，使用的。也就是一个节点需要有多个操作时，可以考虑使用task group。
2024-08-20 14:58:13
235
原创 【Airflow】基于数据的调度 -条件触发
Airflow的数据调度机制是以上游的producer DAG的结果为准，触发下游的Consumer DAG的。也就是说，producer中的任务执行的结果可以看作consumer的触发条件。producer中最后一个condition task中的逻辑改为：如果不满足更新条件，则不会执行将文件同步至FLIE_PATH的操作（即不会触发FLIE_PATH的变化）。所以数据调度的控制条件可以放在producer的最后一个任务中，或者是consumer的第一个任务中。DATA_PATH：存储原始数据的文件夹。
2024-07-19 14:22:50
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人