MyBatis 在 JDK8 中的性能问题

在客户使用TiDB的批处理场景中,MyBatis在JDK8下出现性能问题,批处理耗时较长。经过远程和现场排查,发现性能瓶颈在于MyBatis的DefaultReflectorFactory在`computeIfAbsent`方法中可能导致线程阻塞。升级JDK版本到9及以上,或使用MyBatis 3.5.7修复后的版本可解决此问题。
摘要由CSDN通过智能技术生成

在一次客户使用 TiDB 适配批处理场景中,处理数据的性能和预期相差很多。处理相同的数据量,Oracle 耗时 15 分钟,TiDB 耗时 35 分钟

远程排查

登录客户集群,通过 grafana 发现程序运行时,集群的资源使用率非常低,判断应用发来的压力较小。将应用并发数从 40 提高到 100,资源使用率和QPS指标几乎没有变化。通过connection count监控看到,随着并发数的增加,连接数也同样增加了,确认并发数修改是生效的。但执行show processlist发现大部分连接是空闲状态。简单走查了下应用程序代码,是Spring batch + MyBatis结构。因为 Spring batch 设置并发的方式很傻瓜,考虑线程数的调整应该是生效且可以正常工作的。

虽然还没有搞清资源使用率低的问题,但还是有其他收获,ping应用和 TiDB 集群的网络延迟,达到了 2~3 ms。为了排除高网络延迟的干扰,将应用部署到 TiDB 集群内部运行,批处理耗时从 35 分钟下降到 27 分钟,但依然和 oracle 的耗时有较大差距。因为数据库本身没有压力,所以当时的情况调整数据库参数也没什么意义。

因为应用提高并发的效果不符合预期,所以考虑线程可能造成了阻塞,但也没有证据,于是想了这样的场景来简单验证到底是应用的问题还是数据库的问题: 在 TiDB 集群中创建两个完全相同的 database,d1 和 d2,使用两个完全相同的批处理应用分别对 d1,d2 中的数据进行处理,等同于双倍压力写入 TiDB 集群,预期结果是对于双倍的数据量,同样可以在 27 分钟处理完,同时数据库资源使用率应大于一个应用

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值