![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
线上故障篇
文章平均质量分 73
记录线上遇到的问题
ab342173024
没有
展开
-
kafka单条消息太大引起的线上故障
问题现象1.收到日志异常报警,一个Flink任务写入kafka消息出现了异常,异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1602187 bytes when serialized which is larger than the maximum request size you have configured wit原创 2022-03-23 14:11:47 · 4102 阅读 · 0 评论 -
多线程环境下 SimpleDateFormat 引起的OOM线上问题
问题现象突然有业务反馈,某个服务接口响应很忙,赶紧放下手写的代码,看服务所在服务器的系统指标,发现cpu 内存 磁盘IO 都正常,赶紧排查服务, 发现日志中有 java.lang.OutOfMemoryError 的异常,OOM了,内存不够用了,为了不影响线上服务使用,dump堆栈内存,重启服务,线下分析堆栈内容。问题定位是不是调用量增加了,jvm堆内存设置的不合理,通过监控发现,调用量并没有增加,排除jvm堆内存设置不合理的因素。线上jvm堆内存配置2g,堆栈内存文件大概7g,压缩下30原创 2022-02-17 17:36:34 · 593 阅读 · 0 评论