#记一次排查线上问题的经过

记一次排查线上问题的经过

好久好久,没写csdn了,五个月了吧,这几个月在公司做了两次分享,分享的内容相对简单,但是准备分享的过程是一个对我来说很重要的过程,在准备中学到了很多,各种查资料csdn、微信文章,写屁屁踢等等等等。
本次线上后台出现了问题:
运营说线上的一个后台数据不正确,订单数据是6月份的,现在是9月份了
定位问题:
查看数据库,发现这些数据是在A库,实际应该耀查的是B库(有次上线后把这个表从A库移动到了B库)
排查生产环境nacos配置无问题
排查发现skywalking不记录某个时间点后的日志
排查发现腾讯云日志启动正常,没错误
跟运维沟通后,
把测试环境的jenkins构建的分支使用master,无问题
把jenkins预发布环境的构建一下,发现数据不正常。
排查预发布环境nacos配置,无问题
最后,请教领导,
最后最后,领导发现使用外网访问这个后台,数据是正常的,使用公司网线、wifi访问数据不正常
进而预发布环境是最近才开始使用的
运维说是根据出口ip做的
进而领导发现预发布的jenkins构建漏了两行代码
是跟k8s有关的
综上
整个过程由于运维不在,领导的一些权限不在手上等等各种原因,耗时良久啊。
还好是内部系统
在这里插入图片描述

Opportunities are reserved for those who are prepared!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在一个流量高峰期间,我们的网站开始出现了性能问题,特别是Tomcat的worker线程居高不下。这个问题对我们的系统稳定性和用户体验产生了严重影响,因此我们立即进行了排查和解决。 首先,我们使用工具监控了Tomcat的worker线程数,发现在高峰期间线程数增长过快,并且没有下降的趋势。接下来,我们对服务器进行了资源监控,发现CPU和内存的使用率都没有超过正常范围。这表明问题不是由于服务器资源不足导致的。 然后,我们查看了Tomcat的日志文件,发现一些异常错误信息与数据库连接相关。我们怀疑是数据库连接池的问题,因此我们进一步检查了数据库的连接数和连接池的配置。经过对比分析,我们发现数据库连接池的最大连接数被设置得过小,导致在高流量时无法满足请求的需求。我们立即调整了连接池的配置,增加了最大连接数,以应对高峰期的负载。 随后,我们重启了Tomcat,并观察了一段时间。我们发现线程数在高峰期开始时仍然有所增长,但是随着时间的推移开始逐渐下降,最终稳定在一个正常的范围内。这表明我们的排查和解决措施是有效的。 为了进一步确保问题的解决,我们还增加了日志监控和报警机制,以便更及时地发现和解决类似问题。 通过这次经历,我们学到了对于高并发流量情况下的线上问题,需要全面考虑不同组件的性能和配置,并对各个环节进行监控和调整。同时,日志分析和排查是至关重要的工作,能够帮助我们准确定位问题并采取合适的解决措施,最终提升系统的稳定性和性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值