docker容器遇见的问题 error: grpc: the connection is unavailable“

问题描述：

在使用docker部署一套zabbix监控服务之后，在早上打开zabbix主页是报错，显示无法访问到mysql数据库，报错如下：

 

首先根据提示的信息，肯定是zabbix的对应的mysql数据库有问题，然后通过docker ps去查一下

发现mysql的容器是运行的状态
检查发现mysql竟然是运行的，然后去查检查系统的CPU和内存的使用情况，发现没有问题的。
然后使用docker exec -it docker_id /bin/bash
发现报错：

error: rpc error: code = 14 desc = grpc: the connection is unavailable"

具体就是rpc连接不可用，
然后就是检查一下docker容器的日志，通过docker logs -f id
显示正常没有发现异常，但是时间的截止点是凌晨的00点时候就没有了，
然后直接重启了容器但是还是报错，显示如下：

start returned error: grpc: the connection is unavailable"

然后根据网上的报错去查，发现都有遇见了但是，大部分是防火墙开启了，
检查一下发现防火墙没有开启。
然后直接就重启了docker服务。发现还是启动不了zabbix的容器，然后去分析一下message的日志，发现在00凌晨的时候mysql容器
被直接杀掉了，

发现在凌晨的时候就报错了

Dec 25 00:55:21 logapp2 journal: 167:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21logapp2 journal: 175:20191225:005521.734 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 175:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 160:20191225:005521.734 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 160:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 161:20191225:005521.735 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 161:20191225:005521.735 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 166:20191225:005521.736 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)

往上翻日志发现是mysql被杀掉了

Dec 25 00:55:21 logapp2 kernel: Out of memory: Kill process 28169 (mysqld) score 28 or sacrifice child
Dec 25 00:55:21 logapp2 kernel: Killed process 28169 (mysqld) total-vm:2654536kB, anon-rss:467868kB, file-rss:0kB, shmem-rss:0kB
Dec 25 00:55:21 logapp2 journal: 2019-12-24T16:55:17.788571Z 1281207 [Note] Aborted connection 1281207 to db: 'zabbix' user: 'zabbix' host: '146.12.64.77' (Got an error reading communication packets)
Dec 25 00:55:21 logapp2 journal: 2019-12-24T16:55:17.788571Z 1281212 [Note] Aborted connection 1281212 to db: 'zabbix' user: 'zabbix' host: '146.12.64.77' (Got an error reading communication packets)

然后使用Linux查看杀死进程的查看日志命令确认一下是不是被系统给杀掉了
# egrep -i -r ‘killed process’ /var/log和# dmesg|grep memory



注：在重新启动docker服务的时候，需要释放一下内存。

然后将docker服务对应的进程杀死掉，然后重新启动docker服务，最后启动zabbix容器就可以了，
使用docker logs -f mysql_id 查看mysql容器的日志，发现一直在刷日志。并且zabbix主页也可以打开了

所以可以基本确定是内存不足导致OOM Killer杀掉了mysql进程

到这里的时候就一个疑问了就是系统为什么会把mysql进程给kill掉呢？？？
可以参考内核的源码linux/mm/oom_kill.c，里面的oom_badness方法，方法注释中说了，调出最耗内存的进程杀掉，如下图，我们的机器上mysql占用了最大的内存，所以就被杀掉了

以上就是自身亲自遇见的问题，希望可以帮助您。