K8S集群中Mysql问题 Got timeout reading communication packets

最新推荐文章于 2024-06-22 15:26:37 发布

飞客不去

最新推荐文章于 2024-06-22 15:26:37 发布

阅读量1.2k

点赞数

分类专栏： Mysql 文章标签： mysql 数据库运维

本文链接：https://blog.csdn.net/qq_38371367/article/details/115675188

版权

1 篇文章 0 订阅

订阅专栏

出现的一个问题，记录一下，以及给出解决方案，具体是什么导致的，暂未可知

在MYSQL的内部约束中有个表，叫做host_cache表，该表记录了连接到mysql的连接的信息，有个字段 **max_connect_errors **定义了某个ip的中断连接错误的上限，某个ip超过了这个上限就会被mysql拉入黑名单，拒绝连接。这个机制mysql用来保护自己不受攻击。

详细的表字段可以在官方文档中查看：https://dev.mysql.com/doc/refman/8.0/en/performance-schema-host-cache-table.html

这里只说三个字段：

IP:每个连接的ip地址，主键
HOST：DNS解析后的域名或HOSTNAME
SUM_CONNECT_ERRORS：已经连续出现中断错误的次数，如果在 max_connect_errors以内连接成功，该字段会被清零，每个IP都有对应的错误个数,单独计数。

问题发生在K8S集群中部署的mysql服务，但是该问题不局限于容器化的mysql。
现象：mysql的host_cache表中的错误链接次数会增加，然后查看mysql日志会发现有Got timeout reading communication packets 类似错误。

我们把集群中的mysql的svc类型设置为nodeport，

我们自己的容器化服务使用mysql的域名访问，解析出来的IP就是对应的服务的podIP,域名就是该服务的域名。没出现中断错误超过最大错误连接数的
我们自己的不能容器化的服务，只有keystone通过私网的节点IP+nodeport来访问数据库。阿里云的DBS备份也是通过该形式来访问。mysql将该连接解析为某张虚拟网卡的IP，没有域名，出问题的环境解析的网卡ip都是以0 结尾。该形式出现中断错误数超过最大错误连接数的情况，导致通过此种方式的连接全部被mysql拒绝。
以集群的公网IP+mysql nodeport去访问，此为navicat访问形式，mysql解析为节点的私网ip，其实也是某张网卡的IP。该连接没出现问题。
昨晚在预升级环境，我们把keystone、阿里的DBS以及我们容器化的与mysql有交互的服务全部卸载后，出现了一个现象，有一个未知服务每隔10分钟就对mysql发起tcp连接以及关闭连接。访问形式就是nodeip+port，此时mysql的错误数+1。当把mysql的svc改为clusterip时，十分钟两次的访问未出现。

MYSQL IP解析问题
通过nodeip+mysqlport形式访问mysql,mysql反dns解析会解析成某个网卡的ip 20.201.38.0
通过公网IP+mysqlport形式访问mysql，mysqlfan反dns解析会解析成主机的网卡ip
原因应该是，解析的dns服务不认识，不知道最开始来源的连接ip,就将该连接的ip解析成转发到mysql服务的网卡ip
mysql中断错误类型，什么时候才会+1
网络波动；程序被突然中断，之前的连接还保留着（因为占用的文件或者连接被锁），可能会造成中断连接
十分钟两次的是什么东西，什么原因
可以肯定是通过nodeip+mysqlport访问的形式，第一种可能是某个应用程序在循环跑，第二个可能是我们自己的某个程序没有被卸载干净，或者是卸载后某个类似读取文件建立连接的进程突然被杀死但是这个文件或者连接还是被锁着占用着，所以会定时的维护这个状态。

关注