Airflow 重跑dag中部分失败的任务

重跑dag中部分失败的任务

例如 dagA 中， T1 >> T2 >> T3 >> T4 >> T5  ，其中 T1 T2 成功， T3 失败， T4  T5因为依赖 T3，也不会运行。

跳过 T1   T2  重跑 T3 T4 T5 的方法是：

（1）点击 T3 clear ，默认会clear T4  T5 的状态

（2）返回到上一级，点击 dagA 名字，点击 Recursive 和 Downstream （airflow的界面，看不出来到底有没有选择，反正各点一次，  Uncheck ），然后点击 run

这方法只对 subdag 有用

还有就是airflow1.8   1.9  中，如果使用 subdag ，那么 pool 中设置的 slot 是无效的，算是一个 airflow 的bug

airflow1.10 中，没有去修复这个bug，而是在subdag 默认是使用 顺序（串行）执行， 非并行方式执行。如果一定要并行，

需要自己指定为CeleryOperator

 

转载于:https://www.cnblogs.com/zjc10203/p/9671059.html