java 排队任务_Airflow 1.9.0排队但没有启动任务

我正在运行puckel / docker-airflow repo的分支，主要在Airflow 1.8上使用10M任务实例大约一年 . 我认为这个问题在1.9中仍然存在，但我并不积极 .

无论出于何种原因，Airflow调度程序似乎存在一个长期存在的问题，即性能会随着时间的推移而降低 . 我已经查看了调度程序代码，但是我仍然不清楚在重新启动时会出现什么样的不同，以便重新启动调度程序 . 一个主要区别是重建了计划任务状态和排队任务状态 .

Airflow wiki中的Scheduler Basics提供了有关调度程序如何工作及其各种状态的简明参考 .

大多数人通过定期重新启动调度程序来解决调度程序减少吞吐量问题 . 我个人间隔1小时就找到了成功，但每隔5-10分钟也经常看到 . 在尝试重启间隔时，您的任务量，任务持续时间和并行度设置值得考虑 .

有关详情，请参阅：

您也可以考虑发布到Airflow dev mailing list . 我知道这已经在那里讨论了几次，其中一个核心贡献者可能能够提供额外的上下文 .

相关问题