![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Airflow
文章平均质量分 65
Damien_J
Comprehend |
Create |
Universe
展开
-
Aiflow中,代码逻辑中明明不该触发的方法但是却触发了。
图中这个红圈的task,是我更新error记录的task,是某些特定的task特定情况会触发的。正常情况走的最下面的箭头的路径。但是现在就是就算只走了下面箭头的路径,红圈那个task依然被触发了。),意思就是上游没有失败的就会触发,不论成功或者是skiped都会执行,就算你这次代码逻辑根本走不到它。那怎么办呢?原创 2024-06-18 17:54:16 · 490 阅读 · 0 评论 -
Airflow 中的trigger_rule
在 Apache Airflow 中,trigger_rule 是用于控制任务何时被触发的规则。TriggerRule 是一个枚举类型,它包含了多种不同的触发规则。以下是这些规则及其用途的详细说明:trigger_rule的优先级非常高,就算dag顺序里面定义的路径应该走它但是trigger_rule没有满足,依然不会走,顺序里面不该走它,trigger_rule满足了他就会触发,我已经遇到几次这种错误导致我焦头烂额了原创 2024-06-18 17:31:48 · 214 阅读 · 0 评论 -
Airflow Dag中,某个多分支汇合的task不执行
其实问题的关键就是TriggerRule,TriggerRule默认是ALL_SUCCESS,也就是与门,我们想要的是或门,就是只有当所有上游任务都没有失败时,当前任务才会被触发(即上游任务要么成功要么被跳过)。我截图里面是我理想状态下,走任意一条路,之后最后retrain_model_by_model_info都会执行,但是这个问题就是遇到它执行,不管走的哪条路都不执行。就拿这个图举例,这是个典型的分支路最后汇合执行的task,用代码演示就是这种情况,有两条路可以执行,最后又回归同一个task。原创 2024-06-18 17:24:08 · 180 阅读 · 0 评论