OSError: [Errno 24] Too many open files
lockfile.NotMyLock: ./airflow-scheduler.pid is locked, but not by me
原因:文件句柄数过多
解决修改文件句柄数:
1.打开/etc/security/limits.conf,里面有很详细的注释,找到如下设置(如果没有就插入)
* soft nofile 51200
* hard nofile 51200
2.编辑/etc/pam.d/common-session,加入一行
session required pam_limits.so
3.编辑/etc/profile,加入
ulimit -SHn 51200
4.设置虚拟内存:
ulimit -v unlimited
重启,验证 ulimit -a ,收工