kafka运行一段时间报错:
出现这种错误的解决方法:
1.修改操作系统中的环境变量
修改“/etc/security/limits.conf”
vim /etc/security/limits.conf
末尾添加:
* - nofile 1000000
* - nproc 1000000
2.启用"/etc/security/limits.conf"功能,默认是被注释的,即默认未启用,也有可能没有,得手动添加!
vi /etc/pam.d/su
末尾添加:
session required pam_limits.so
3.修改linux的环境变量
vi /etc/profile
末尾添加:
ulimit -SHn 204800
4.使配置生效:
source /etc/profile
退出当前终端,重新登陆,你会发现最终生效的是/etc/profile中的配置。
再次启动kafka即可!
===========================================================
如果你将Kafka做成了一个service并使用systemctl进行管理的话,那么修改/etc/sysctl.conf和/etc/security/limits.conf的配置是不生效的。你可以查看/proc/<kafka pid>/limits去验证配置是否生效了。如果将Kafka配置成了service,那么你还需要修改/lib/systemd/system/<servicename>.service,增加下面配置:
> LimitNOFILE=65535
之后运行下列命令重新加载daemon和重启Kafka服务:
> systemctl daemon-reload
> systemctl stop kafka
> systemctl start kafka
之后再次查看/proc/<kafka pid>/limits中Max Open Files是否生效了。