![](https://img-blog.csdnimg.cn/48dedf89c36a4017a25f1d41f498b27f.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 92
Kafka 常用示例
BIT_666
天道酬勤,厚积薄发
展开
-
Flink 实战 - 9.Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析
Flink / Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析。原创 2022-09-13 15:18:37 · 2112 阅读 · 15 评论 -
Flink / Kafka 异常 - 6.Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy 排查与修复
使用 Flink - Kafka 接数据 Source 时程序报错:org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy,任务每次启动后持续10min左右,然后 RUNNING -> FAILED,如此重启失败了多次。原创 2022-06-23 08:50:54 · 5258 阅读 · 3 评论 -
Kafka - producer 参数整理与生产数据丢失分析
一.引言使用 KafkaProducer 生产数据并按照 interval = 60s 的间隔进行日志回收,执行 KafkaProducer.send参数分析buffer_memory:kafka 客户端发送数据到服务器会经过缓冲区,通过 KafkaProducer 发送出去的小气都是先进入客户端本地的缓存里,再通过 Sender 线程将多个batch 的数据发送到 Broker,buffer_memory 初始化设置为 32mb存在的问题:消息写入过快或者写入量过大,Send.原创 2021-11-03 13:49:00 · 1277 阅读 · 0 评论 -
Kafka produce flush 引起的性能分析
调用kafka producer发送数据时,发现延迟级别在10-200ms不等,与正常的kafka写入速度不匹配,于是开始找问题~一.场景:一批数据,需要遍历每个数据并发送数据细节的信息到kafka,下面是我原始代码,每个人发送后执行一次flush操作。val results = Array[DataObject](...)results.foreach(data => { val info = new ProducerRecord[String, String](top.原创 2020-08-28 15:22:12 · 9259 阅读 · 6 评论 -
SparkStreaming x Kafka 0.8 / 0.10 消费指南
Streaming x Kafka实时统计数据时需要用到Spark Sreaming x kafka,spark版本就不多赘述了,kafka版本现在主要分0.8.x.x和0.10.x.x,但是调用相同API消费时发现两者有区别,这里做一下记录。Kafka Streaming生成选择常用的Direct Approach(No receiver)方式简化并行,提升straming接数据时的稳定性。...原创 2019-12-09 21:38:54 · 345 阅读 · 0 评论