现象:
将消息系统改为异步架构之后,当晚上线,在上线的过程中,由于另一个服务cmdbProxySerivce未启动,导致指标收集不上来,然后短时间内产生大量的空值报警,发送到邮件的速度很缓慢,从当晚上线19:30一直持续发送到第二天上午排查问题的时候.
解决办法:问题定位,先去看生产者线程日志,发现产生正常那么多日志,查看hbase(与消息队列消息保持一致)发现存储了未消费的报警消息,,去消费者者端,发现大量未消费消息,但是线程一直再跑...最后发现是发送短信和微信故障,又因为有重试机制,所以相当的耗时间.从代码的角度,这个地方应该在加一个异步架构,将发送邮件,短信,微信独立.