【TDSQL】TCPMSS最大数据分段大小值不合理导致JAVA程序连接数据库异常案例

欢迎关注“数据库运维之道”公众号，一起学习数据库技术!

TDSQL核心架构原理解析下载链接：百度网盘 请输入提取码 提取码：vat5

DTC2024 数据技术嘉年华（演讲资料下载）DTC2024 数据技术嘉年华（演讲资料下载） - 墨天轮

海明威运动定律告诉我们，事物的变化往往在经历一定渐进发展后带来突变。技术的变革同样如此。今天我们惊艳于诸多数字化生活的时刻，殊不知在过去几年中，云计算、分布式数据库、中间件等国产基础技术已经过多年的自我打磨，逐渐成为新一代底层技术架构，并最终带来各行各业从底层到业务的彻底的数字化转型升级，以及更重要的新型业务形态的出现，成为新基建时代发展的基础驱动力量。本人也有幸参与多款分布式数据库（TDSQL、TiDB、HotDB）的运维工作，希望个人整理的知识点可以帮助大家提升数据库运维工作效率。本期将为大家分享《TCP MSS最大数据分段大小值不合理导致JAVA程序连接TDSQL数据库异常》的处置案例。

关键词：分布式数据库、TDSQL、LVS、proxy、TCPMSS

在TDSQL数据库集群上部署一套新的实例提供给业务系统使用。业务虚拟机通过Navicate客户端可以正常登录数据库并进行SQL查询，但是JAVA应用程序连接数据库会出现通讯连接失败情况。报错信息为：Communications link failure。TDSQL版本10.3.14.6.0，MySQL版本5.7.17。

1、开发人员反馈JAVA程序能够正常启动，但是在登录界面输入账号密码后，出现异常报错。查看JAVA程序后台日志，看到"Error querying database"和"Communication link failure"错误。如下图所示。

2、使用Navicate客户端可以正常登录数据库，并且SQL查询也可以正常返回结果。于是，让开发人员检查应用程序的连接池配置，各项参数设置均正常。

3、应用程序是通过域名来访问数据库，于是直接改为LVS地址来访问还会报错，因此可以排除域名解析。

4、检查PROXY的日志，未发现sql出现在interface日志中。

5、梳理生产环境的部署架构如下图所示，并初步推断问题可能在LVS或Proxy上面。

6、于是，登录LVS服务器进行网络抓包，并提给网络工程师分析。查看对应负载端口抓包信息，查看到大量重传记录。

tcpdump -i any -s 0 -C 100 -W 10 -w tcpq.cap port 负载端口

7、应用程序跳过LVS直接访问proxy地址后，应用程序没有再出现连接异常。此时基本定位为lvs发包失败，proxy未接到sql请求。

8、检查两台LVS路由信息（ipvsadm -ln），查看各个服务器的网卡mtu值，都是设置为1500。

9、MSS是TCP数据包每次能够传输的最大数据分段。为了达到最佳的传输效能TCP协议在建立连接的时候通常要协商双方的MSS值，这个值TCP协议在实现的时候往往用MTU值代替（需要减去IP数据包包头的大小20Bytes和TCP数据段的包头20Bytes），通讯双方会根据双方提供的MSS值的最小值确定为这次连接的最大MSS值。而一般以太网MTU都为1500，所以在以太网中，往往TCP MSS为1460。

10、由于lvs给包增加了20字节的ip头，MTU值大于1500，导致发包失败。

数据包流转过程：
client(mtu1500)->lvs的vip(mtu 1480)->lvs给包增加了20字节的ip头，通过lvs的真实ip(mtu1500)->proxy的真实ip(mtu1500)接收，通过proxy的vip(mtu1480)->client
1、第一步建立链接，client与lvs的vip之间的mss协商应为1440，clint的mss=1500-20-20=1460，lvs的vip的mss=1480-20-20=1440，两者协商后取最小值。
2、第二步建立链接，lvs真实ip与proxy的真实ip之间协商的mss应为1460，但是因为lvs给包增加了20字节的ip头，mtu=mss+20+20+20=1520大于proxy的真实ip的mtu1500，导致发包失败。

1、为了避免发包失败，在proxy服务器上手动设置mss的值为1440，并持久化到开机自启动中。

#iptables -A OUTPUT  -p tcp --tcp-flags ALL SYN,ACK -j TCPMSS--set-mss 1440

# iptables -L|grep TCP
TCPMSS     tcp  --  anywhere             anywhere             tcp flags:FIN,SYN,RST,PSH,ACK,URG/SYN,ACK TCPMSS set 1440

# echo "iptables -A OUTPUT  -p tcp --tcp-flags ALL SYN,ACK -j TCPMSS--set-mss 1440">>/etc/rc.local

2、在lvs机器上关闭小包合并，并持久化到开机自启动中。

# ethtool -K bond0 lro off gro off gso offtso off

# ethtool -k bond0|grep -i -E "tcp-segmentation-offload|generic-segmentation-offload|generic-receive-offload|large-receive-offload"
tcp-segmentation-offload: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off

# echo "ethtool -K bond0 lro off grooff gso off tso off" >>/etc/rc.local

推荐阅读一：proxy 模块运维

proxy是TDSQL的核心组件之一，主要提供了sql转写、sql分发、权鉴、结果聚合、结果过滤等功能，对应的进程分别是mysql-proxy和router_update。其中mysql-proxy

是网关的主进程，负责处理用户的SQL请求。而router_update是网关的辅助进程，负责从决策集群（ZK）获取路由等信息，监听决策集群的变更信息，并实时更新相关路由信息。

进程启停命令：
su - tdsql
cd /data/tdsql_run/${PORT}/gateway/bin
./start.sh instance_${PORT}      #启动
./stop.sh instance_${PORT}       #停止
./restart.sh instance_${PORT}    #重启

推荐阅读二：lvs模块运维

LVS模块采取Lvs+Keepalived的方案为TDSQL的实例提供数据库负载均衡功能，其中：

lvsmanager：从Zookeeper（简称ZK）上拉取LVS的配置，并持久化到Keepalived的配置文件。

Keepalived：为LVS提供vip（虚拟IP）的容灾功能，检测proxy的健康状况，并且将vip的主备信息等上报到zk节点。

进程启停命令：
su - tdsql
cd /data/application/lvsmanager/bin
./startlvsmanager.sh ../conf/lvsmanager.xml     #启动
./stoplvsmanager.sh ../conf/lvsmanager.xml      #停止
./restartlvsmanager.sh ../conf/lvsmanager.xml   #重启

虚拟IP（VIP）部分配置
# cat VIP_Group1-虚拟端口.conf 
virtual_server 虚拟IP 虚拟端口{
      delay_loop 6 //健康检查的时间间隔
      lb_algo sed //负载均衡调度算法
      lb_kind TUN //LVS模式，DR或者TUN；当前默认为TUN模式，不建议修改。
      protocol TCP //网络协议

1. 腾讯云私有云文档中心-腾讯云
2. ​一文详解 LVS、Nginx 及 HAProxy 工作原理（ 附大图 ） - 知乎

以上就是本期关于“TCP MSS最大数据分段大小值不合理导致JAVA程序连接TDSQL数据库异常”的处置案例。希望能给大家带来帮助。

欢迎关注“数据库运维之道”公众号，一起学习数据库技术!