![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
RayfunC
一个懂艺术, 会写文的攻城狮
展开
-
Kafka 消费快的原因
1. 使用多分区机制, 构建消费者组, 多个消费者同时消费, 速度提高数倍2. 底层使用 log 形式 即 segment 储存, 使用二分查找快速定位 offset.一个分区被分成多个segment ,segment 文件由两部分组成,分别为 “.index” 文件和 “.log” 文件,分别表示为segment索引文件和数据文件(引入索引文件的目的就是便于利用二分查找快速定位 me...原创 2019-03-18 16:32:03 · 616 阅读 · 0 评论 -
Kafka 数据丢失和数据重复的原因和解决办法
数据丢失的原因Kafka 消息发送分同步 (sync)、异步 (async) 两种方式,默认使用同步方式,可通过 producer.type 属性进行配置;通过 request.required.acks 属性进行配置:值可设为 0, 1, -1(all) -1 和 all 等同0 代表:不等待 broker 的 ack,这一操作提供了一个最低的延迟,broker 一接收到还没有...原创 2019-03-18 19:10:43 · 11558 阅读 · 5 评论 -
Kafka 本地策略 LocationStragies:PreferConsistent
创建 Direct 方式的 Stream注意导入的包名称以及版本是 org.apache.spark.streaming.kafka010Scala 代码:import org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.serialization.StringDeserial...原创 2019-04-27 19:49:48 · 4459 阅读 · 3 评论