docker容器遇见的问题 error: grpc: the connection is unavailable“

问题描述:

在使用docker部署一套zabbix监控服务之后,在早上打开zabbix主页是报错,显示无法访问到mysql数据库,报错如下:


驱蚊器
 

首先根据提示的信息,肯定是zabbix的对应的mysql数据库有问题,然后通过docker ps去查一下

发现mysql的容器是运行的状态
检查发现mysql竟然是运行的,然后去查检查系统的CPU和内存的使用情况,发现没有问题的。
然后使用docker exec -it docker_id /bin/bash
发现报错:

error: rpc error: code = 14 desc = grpc: the connection is unavailable"

具体就是rpc连接不可用,
然后就是检查一下docker容器的日志,通过docker logs -f id
显示正常没有发现异常,但是时间的截止点是凌晨的00点时候就没有了,
然后直接重启了容器但是还是报错,显示如下:

start returned error: grpc: the connection is unavailable"


然后根据网上的报错去查,发现都有遇见了但是,大部分是防火墙开启了,
检查一下发现防火墙没有开启。
然后直接就重启了docker服务。发现还是启动不了zabbix的容器,然后去分析一下message的日志,发现在00凌晨的时候mysql容器
被直接杀掉了,


发现在凌晨的时候就报错了

Dec 25 00:55:21 logapp2 journal: 167:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21logapp2 journal: 175:20191225:005521.734 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 175:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 160:20191225:005521.734 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 160:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 161:20191225:005521.735 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 161:20191225:005521.735 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 166:20191225:005521.736 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)



往上翻日志发现是mysql被杀掉了

Dec 25 00:55:21 logapp2 kernel: Out of memory: Kill process 28169 (mysqld) score 28 or sacrifice child
Dec 25 00:55:21 logapp2 kernel: Killed process 28169 (mysqld) total-vm:2654536kB, anon-rss:467868kB, file-rss:0kB, shmem-rss:0kB
Dec 25 00:55:21 logapp2 journal: 2019-12-24T16:55:17.788571Z 1281207 [Note] Aborted connection 1281207 to db: 'zabbix' user: 'zabbix' host: '146.12.64.77' (Got an error reading communication packets)
Dec 25 00:55:21 logapp2 journal: 2019-12-24T16:55:17.788571Z 1281212 [Note] Aborted connection 1281212 to db: 'zabbix' user: 'zabbix' host: '146.12.64.77' (Got an error reading communication packets)


然后使用Linux查看杀死进程的查看日志命令确认一下是不是被系统给杀掉了
# egrep -i -r ‘killed process’ /var/log和# dmesg|grep memory
67


注:在重新启动docker服务的时候,需要释放一下内存。

然后将docker服务对应的进程杀死掉,然后重新启动docker服务,最后启动zabbix容器就可以了,
使用docker logs -f mysql_id 查看mysql容器的日志,发现一直在刷日志。并且zabbix主页也可以打开了

所以可以基本确定是内存不足导致OOM Killer杀掉了mysql进程

到这里的时候就一个疑问了就是系统为什么会把mysql进程给kill掉呢???
可以参考内核的源码linux/mm/oom_kill.c,里面的oom_badness方法,方法注释中说了,调出最耗内存的进程杀掉,如下图,我们的机器上mysql占用了最大的内存,所以就被杀掉了


23


6

以上就是自身亲自遇见的问题,希望可以帮助您。

















 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jiang0615csdn

你对鼓励是我最大的动力来源

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值