记一次线上批量报警事故

最新推荐文章于 2021-07-28 18:38:28 发布
最新推荐文章于 2021-07-28 18:38:28 发布
阅读量176 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26781669/article/details/102629767
版权

 现象:

     将消息系统改为异步架构之后,当晚上线,在上线的过程中,由于另一个服务cmdbProxySerivce未启动,导致指标收集不上来,然后短时间内产生大量的空值报警,发送到邮件的速度很缓慢,从当晚上线19:30一直持续发送到第二天上午排查问题的时候.

    解决办法:问题定位,先去看生产者线程日志,发现产生正常那么多日志,查看hbase(与消息队列消息保持一致)发现存储了未消费的报警消息,,去消费者者端,发现大量未消费消息,但是线程一直再跑...最后发现是发送短信和微信故障,又因为有重试机制,所以相当的耗时间.从代码的角度,这个地方应该在加一个异步架构,将发送邮件,短信,微信独立.

翼WS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【案例】记一次线上内存报警排查过程1
08-03
1. 查一下 xx.xx.16.28 的内存使用情况 2. 排查最近是否有新上线服务，导致内存紧张 3. 排查是否有 Java 服务在持续 FGC 1. 以为
记一次线上应用故障分析
wuwu20048的博客
10-25 219
这几天某个应用经常报上下线告警。我们是通过监测应用节点是否从zk临时节点掉下来进行告警的。排除网络原因的话，以往一般是服务器或应用cpu太高，zk客户端与zk服务端连接超时，而且重试后也无法连上导致。日志体现如下： 查看堆内存使用曲线发现，内存持续上升到最大内存，然后gc。gc时经常会出现应用上下线的报警。 把堆内存dump下来，使用mat分析，发现一个服务的现场队列，占了大部分内存。 这里差不...
一次线上性能优化的过程。
qq_15769369的博客
03-24 459
A person's character isn't determined by how he or she enjoys victory but rather how he or she endures defeat. 今天半夜手机上收到了一条报警短信， 某一台线上TASK机器CPU负载过高，我当时在想是不是又有同事在上面新部署了半夜凌晨的task，同时跑了太多任务，导致CPU负载...
【工作经验】记录一次线上环境CPU使用率100%问题排查
qq_18244417的博客
07-28 591
问题背景四月中旬生产环境的服务器频繁爆出 cpu 使用率 100% 的警告，起初这个业务线不是我负责，也就没有深入了解问题。后边，负责这个业务线的同事离职了，这件事就落在我这边了。然后，开...
肝了两周，线上YGC频繁事故分析
Java笔记虾
01-10 3305
高并发场景下很多不确定因素，造成线上机器YGC性能问题。gc耗时长/频繁的原因增加stop-the-world,导致系统可用率降低，影响上下游功能，甚至宕机。项目A为提单、商品等提供基...
35丨记一次线上SQL死锁事故：如何避免死锁？.html
08-11
35丨记一次线上SQL死锁事故：如何避免死锁？.html
[OOM] 记一次线上OOM的问题 - ado19861
08-03
现象：Tomcat日志分析问题过程中的想法和方法是最有价值的经验Eclipse的MAT工具举一反三释放资源放在finally块中。
《程序人生》记一次敖丙的线上P2事故1
08-03
《程序人生》记一次敖丙的线上P2事故1
CAD/CASS多段线上批量加高程点插件
06-05
曲线上批量加高程点支持支持四种模式：1、定距加高程点；2、定数加高程点；3、节点加高程点；4、手动加高程点。可设置起点高程和终点高程及高程点小数位数。
机械设计同轴剥皮机sw18可编辑非常好的设计图纸100%好用.zip
05-01
机械设计同轴剥皮机sw18可编辑非常好的设计图纸100%好用.zip
node-v12.22.5-linux-arm64.tar.xz
05-01
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Honeywell BR-310 条形码扫描器手册
05-01
Honeywell BR-310 条形码扫描器手册
中国诗词APP「西窗烛」产品需求文档.docx
05-01
中国诗词APP「西窗烛」产品需求文档
unity开发的教程.doc
05-01
当然可以！Unity开发是一个非常受欢迎的游戏开发工具，适合初学者入门。以下是一些Unity开发的教程，供您参考： 1. Unity官方文档：Unity官方网站提供了详细的文档和教程，包括Unity的基本概念、工具使用、场景编辑、游戏逻辑编写等。您可以根据自己的需求和水平选择相应的教程。 2. Unity官方的Unity Creator在线课程：Unity Creator是Unity的在线教育平台，提供了许多免费的Unity Creator教程和课程，适合初学者入门。您可以根据教程的内容和难度选择适合自己的课程。 3. Unity中文社区：Unity中文社区是一个非常活跃的社区，提供了许多Unity开发的教程和资源。您可以搜索相关的教程和资源，与其他开发者交流和学习。 4. Unity教程网站：有许多网站提供了Unity开发的教程和资源，如游戏学院、编程教室等。这些网站提供了许多基础和进阶的Unity开发教程，适合初学者和有一定基础的开发者。 5. Unity插件开发：Unity插件开发是Unity开发的一个重要方向，适合有一定基础的开发者。您可以学习如何创建自定义的Unity插件，
node-v12.19.1-linux-arm64.tar.xz
最新发布
05-01
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
惠普服务器安装说明
05-01
惠普服务器安装说明
node-v12.18.2-linux-s390x.tar.xz
05-01
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
node-v12.22.4-linux-ppc64le.tar.xz
05-01
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Sequelize 大于_记一次线上Sequelize连接池“ResourceRequest timed out”排查历程
05-24
Sequelize 的连接池是其关键特性之一，可以在多个请求之间共享数据库连接，提升数据库查询性能。但是，连接池的配置和使用也需要注意一些细节。 在线上环境中，我们曾经遇到过 Sequelize 连接池报错“Resource...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值