问题:某一天开始页面无数据
分析:kafka数据正常推送,项目消费方由Flink接受改为Kafka接受处理,数据库由DB2换为mysql,切换,运行一段时间后无数据显示,但是在消费
解决方法:切换为Flink项目,数据正常显示,
排查:项目改造后消息不再通过Flink连接kafka进行处理,直接由Java程序对kafka进行消费,由于上周五kafka消息数据量突然增大,程序对数据消费过慢导致Kafka消息堆积,堆积的消息超过24小时触发kafka消息清除策略,导致模块部分数据缺失
具体原因:消费方对数据消费能力下降,导致数据堆积,超过24h消息被删除
根本原因:更换数据库后,同步添加了索引,但是mysql索引与Db2不同,导致查询数据库不走索引,查询缓慢,大量数据并发查询导致消费缓慢,kfaka数据堆积
解决方法:数据库重构索引,提升sql查询速度,加快消息消费能力