这几天运行airflow发现运行的Task总是报错,并且在页面上没有报错信息:
查看Schedule的报错日志,没有什么头绪
查看本地Task运行日志,没有对应的文件。
说明:Task根本没有运行,运行命令top,发现图片上的进程有很多。
停止redis后,发现没有了,但是启动redis 有重新出现了。
然后在看celery 运行命令 ps -ef|grep celery 有很多的celery 没有释放。
释放这些celery后,运行Task正常,
注释:过多的celery未释放,是由于Task未执行完,我们手动置状态导致的,如图: