zabbix server 启动报错：“No space left on device: “

Zabbix Server报错信息如下：

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 10.13.x.x Set the 'ServerName' directive globally to suppress this message
[Thu Jan 02 09:52:26.986823 2020] [auth_digest:notice] [pid 341] AH01757: generating secret for digest authentication ...
[Thu Jan 02 09:52:26.989025 2020] [lbmethod_heartbeat:notice] [pid 341] AH02282: No slotmem from mod_heartmonitor
[Thu Jan 02 09:52:27.016849 2020] [core:warn] [pid 341] AH00098: pid file /run/httpd/httpd.pid overwritten -- Unclean shutdown of previous Apache run?
[Thu Jan 02 09:52:27.016996 2020] [core:emerg] [pid 341] (28)No space left on device: AH00023: Couldn't create the mpm-accept mutex

 

【故障原因】

No space left on device，是因为进程开始申请的一块共享内存区不足，导致apache和zabbix信号量及它们之间的子进程通信异常。linux系统的ipc信号量造成的，apache启动时，会创建很多子进程。信号量和子进程在共享内存区内进行通信。共享内存区是系统出于多个进程之间通讯的考虑，而预留的的一块内存区。

【排查过程】

[root@pmsmap01 zabbix]# ipcs -s

------ Semaphore Arrays --------
key        semid      owner      perms      nsems     
0x00000000 18350080   zabbix     600        14        
0x00000000 18153473   apache     600        1         
0x00000000 18186242   apache     600        1         
0x00000000 18219011   apache     600        1         
0x00000000 18251780   apache     600        1         
0x00000000 655365     zabbix     600        14        
0x00000000 18284550   apache     600        1         
0x00000000 11042823   zabbix     600        14        
0x00000000 11075592   zabbix     600        14        
0x00000000 11108361   zabbix     600        14        
0x00000000 11141130   zabbix     600        14        
0x00000000 11173899   zabbix     600        14        
0x00000000 11206668   zabbix     600        14      

【操作命令】

[root@zabbix]# ipcs -s | perl -ane '/^0x00000000/ && `ipcrm -s $F[1]`'

[root@zabbix]# ipcs -s

------ Semaphore Arrays --------
key        semid      owner      perms      nsems     

【再启动服务】

[root@zabbix]# systemctl start zabbix-agent