airflow CeleryExecutor模式报错

这几天运行airflow发现运行的Task总是报错，并且在页面上没有报错信息：

查看Schedule的报错日志，没有什么头绪

查看本地Task运行日志，没有对应的文件。

说明：Task根本没有运行，运行命令top，发现图片上的进程有很多。

停止redis后，发现没有了，但是启动redis 有重新出现了。

然后在看celery  运行命令 ps -ef|grep celery  有很多的celery 没有释放。

 

释放这些celery后，运行Task正常，

注释：过多的celery未释放，是由于Task未执行完，我们手动置状态导致的，如图：

 

 

转载于:https://my.oschina.net/ilovetao/blog/3060851