记一次线上处理空指针异常的过程

参考链接:
阿里云数据库独享代理使用注意事项
阿里云数据库事物拆分功能
使用Hint语法

运营在群里@我,说用户刚注册了,但是登录不了。SSO 系统原来不是我负责的,前同事走了之后就交接给我了。用户系统和单点登录系统是分开的,注册是在用户系统发生的,注册后用户系统会把注册信息通过发送 mq 消息通知 SSO 系统处理。

先根据注册信息查询到消息体,然后根据消息体的关键字去查询 SSO 系统的日志,结果没查到。然后又去查用户系统的日志,发现报了空指针异常。然后根据错误日志提示找到报错的代码处。

发现,是刚插入的数据,在另一个事物里根据主键查询竟然没有查到。因为已经在查询的方法里加上了 @Transactional 注解,事物查询应该是走主库的。没查到,数据也没有删,还是在数据库里。在那一刻很明显是没有查到的,怀疑还是走了从库。问 DBA ,DBA 也不太清楚,建议加 FORCE_MASTER 强制走主库。

想刨根问底的追查一下问题的根源,在阿里云的钉钉群里问了阿里云的人,说是打开了数据库事务拆分的功能后,在事物里,查询也可能走从库。

文档里已经写得很明白了,开启了事物拆分功能后,在事物里的第一个写操作之前的所有读操作都会走从库。
在这里插入图片描述
真相已经大白了,把这个问题发到技术群里之后,结果同事说他们之前也遇到这个问题,但是没有深究,直接改写了查询 sql ,在 sql 之前加:

/*FORCE_MASTER*/

他们是自己写了个切面,在需要走主库的方法上打上注解,拦截 mybatis 的查询语句,在查询语句前面加了注解。

现在问题来了,查了下代码有好多处 @Transactional 注解,后面的异常还不一样,不能统一全局替换。知道 IntelliJ IDEA 有正则表达式替换功能,研究了下发现可以写正则来替换:

源:

@Transactional.*

目标:

$0\n    @SelectMaster

在这里插入图片描述
$0 是源整个字符串。\n 是换一行。

恰好完美的解决了问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在一个流量高峰期间,我们的网站开始出现了性能问题,特别是Tomcat的worker线程居高不下。这个问题对我们的系统稳定性和用户体验产生了严重影响,因此我们立即进行了排查和解决。 首先,我们使用工具监控了Tomcat的worker线程数,发现在高峰期间线程数增长过快,并且没有下降的趋势。接下来,我们对服务器进行了资源监控,发现CPU和内存的使用率都没有超过正常范围。这表明问题不是由于服务器资源不足导致的。 然后,我们查看了Tomcat的日志文件,发现一些异常错误信息与数据库连接相关。我们怀疑是数据库连接池的问题,因此我们进一步检查了数据库的连接数和连接池的配置。经过对比分析,我们发现数据库连接池的最大连接数被设置得过小,导致在高流量时无法满足请求的需求。我们立即调整了连接池的配置,增加了最大连接数,以应对高峰期的负载。 随后,我们重启了Tomcat,并观察了一段时间。我们发现线程数在高峰期开始时仍然有所增长,但是随着时间的推移开始逐渐下降,最终稳定在一个正常的范围内。这表明我们的排查和解决措施是有效的。 为了进一步确保问题的解决,我们还增加了日志监控和报警机制,以便更及时地发现和解决类似问题。 通过这次经历,我们学到了对于高并发流量情况下的线上问题,需要全面考虑不同组件的性能和配置,并对各个环节进行监控和调整。同时,日志分析和排查是至关重要的工作,能够帮助我们准确定位问题并采取合适的解决措施,最终提升系统的稳定性和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值