最近引入pxc集群后,查看后台日志发现多并发向数据库写数据时时总出现死锁的问题,定位后基本确认是pxc引入的问题。
背景:
1.kubernates容器化部署,3个Node节点,每个Node节点均有一份完全一致的mysql数据库数据,数据库采用pxc部署。单应用多数据库。
2.数据库端口号3306,容器对外映射端口号为41000。
3.应用连接数据库通过域名+内部端口号访问,如mysqlservice:3306
4.整个应用对外服务可通过北向IP访问
5.表存储引擎是innodb,表是自增长
问题现象:
1.本地和独立环境即单数据库方式运行完全没问题
2.pxc集群部署时,多并发插入时会报死锁问题,表现是丢数据,比如插入100调数据,实际数据库只插入成功95条。
分析过程:
1.对比和独立环境差别,排除mysql本身配置导致的问题。
2.插入表会自动加排它锁,即行级锁,理论上插入时操作不同行不会出现死锁。
3.线上数据库连接直接用北向IP和数据库对外端口号方式,即172.122.0.1:41000,验证无问题。说明是pxc集群或者域名解析导致的问题。
4.仅留一个数据库pod节点,正常。排除域名解析问题导致的,现象上看是和pxc有关。
5.查看pxc复制原理,分析过程,基本确定和pxc集群部署有关。
6.最终连接数据库临时换用北向IP和外部端口的方式,这种虽然能临时解决问题,但是pxc本身应该是高可用和负载的目的,改成这种后,失去了负载的目的,每次写到会到主Node节点上的pod。