linux远程卡住,记一次服务器僵死故障（ssh远程输入密码没有反应）

故障现象：

1、服务器负载、网络IO、磁盘IO等都没有问题，很正常。

2、/var/log/secure日志无报错。

3、/var/log/maillog日志，10点48的时候提示连接不上redis服务，500条左右这样的报错。Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: redis: connect(127.0.0.1, 10035) failed: Connection refused

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: dict(zheng@test.com,10.0.45.214): Failed to lookup key shared/passdb/10.0.45.214/pop3/zheng@test.com

Aug 23 10:48:46 kkmail dovecot: auth-worker(1818): Error: redis: connect(127.0.0.1, 10035) failed: Connection refused

Aug 23 10:48:46 kkmail dovecot: auth-worker(1818): Error: dict(jd@test.com,10.0.55.234): Failed to lookup key shared/passdb/10.0.55.234/pop3/jd@test.com

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: redis: connect(127.0.0.1, 10035) failed: Connection refused

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: dict(zhao@test.com,10.0.154.104): Failed to lookup key shared/passdb/10.0.154.104/pop3/zhao@test.com

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: redis: connect(127.0.0.1, 10035) failed: Connection refused

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: dict(jun.chen@test.com,10.0.33.115): Failed to lookup key shared/passdb/10.0.33.115/imap/jun.chen@test.com

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: redis: connect(127.0.0.1, 10035) failed: Connection refused

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: dict(fhui.li@test.com,172.24.1.66): Failed to lookup key shared/passdb/172.24.1.66/imap/fhui.li@test.com

Aug 23 10:48:46 kkmail dovecot: auth-worker(1813): Error: redis: connect(127.0.0.1, 10035) failed: Connection refused

4、紧接着就一直报这个错误，并且造成服务器僵死，ssh远程不过去：Aug 23 10:56:11 kkmail dovecot: anvil: Error: net_accept() failed: Too many open files

Aug 23 10:56:11 kkmail dovecot: config: Error: net_accept() failed: Too many open files

5、netstat查看IMAP和POP3很多closed_wait状态(有时间研究下什么情况下可能会出现)

解决步骤：

1、怀疑linux句柄数满的时候，使用如下命令查询句柄数说被哪个进程占了。lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more (第一列是数量，第二列是进程ID)

lsof  -n|awk  '{print $2}' |sort|uniq -c|sort -nr | sed '$d' |awk '{sum += $1} END {print sum}' (统计所有之和，监控最好监控下这个)

备注：这点我没注意看。

2、更改最大打开文件数。

(1)要使 limits.conf 文件配置生效，必须要确保 pam_limits.so 文件被加入到启动文件中。查看 /etc/pam.d/login 文件中有：session required /lib64/security/pam_limits.so

(2)Linux更改最大连接数.

解决办法:解除 Linux 系统的最大进程数和最大文件打开数限制：vi /etc/security/limits.conf

*                soft    nproc          655350

*                hard    nproc          655350

*                soft    nofile         655350

*                hard    nofile         655350

3、重启服务器，要不有些占用的不会释放。重启完成后ulimit -n验证。

4、vi /etc/rsyslog.conf发现maillog日志被定向到另外一台服务器了，取消了。

5、服务器可以远程进去，邮件收发正常，不慢了。

总结：

1、可能是redis崩溃引起的Error: net_accept() failed: Too many open files故障，也有可能是Error: net_accept() failed: Too many open files故障引起的redis崩溃。

2、其实不知道具体怎么引起的，大神知道的麻烦留言给我下，谢谢。