记一次Kafka 故障Too many open files问题

查看日志发现，有kafka日志报错提示：

查看limit.conf文件，发现文件打开数设置的值也没问题，尝试增大值后，但就是提示Too many open files，报错就是文件打开数过多。

经不懈的百度百度，发现如下图两条关键信息；

systemd 服务模块最大打开文件数默认为1024，查看其他没改动limit值且未发生故障的机器kafka进程limit最大值为4096，和系统单独的/ect/security/limit.conf设置的值100001没关系。

20220906 13:01 十几次的kafka打开文件句柄数的值均在3590左右，大多没超过4096，故猜测之前62天没有报错过原因于此。

由此联想到我们kafka是通过systemd进行管理的，走的是系统默认最大的文件打开数是4096。

问题在kafka.service中添加LimitNOFILE=655360。生效并重启，问题解决；

vim /usr/lib/systemd/system/kafka.service
 LimitNOFILE=655360

systemctl daemon-reload
systemctl restart kafka.service 

问题：目前仍未查到是哪个配置文件使系统默认值为4096，以及为systemd何不走limit.conf值。