![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 59
往事随风_h
感谢互联网,让我在知识的海洋遨游了一年又一年,为了感谢广大网友,我也把所学知识分享,咱们一起进步!
展开
-
一分钟了解Apache Kafka 2.4.0 新特性
Apache Kafka 2.4.0 已发布,此版本新增了不少新功能,其中包括:允许消费者从最近的副本进行获取为 Consumer Rebalance Protocol 增加对增量协同重新均衡(incremental cooperative rebalancing)的支持新增 MirrorMaker 2.0 (MM2),新的多集群跨数据中心复制引擎引入新的 Java 授权程序接口支持 KTable 中的非密钥连接用于重新分配副本的 Administrative API保护内部连接的 REST原创 2021-03-16 19:16:19 · 4417 阅读 · 0 评论 -
kafka消费者参数配置
参数默认配置auto.commit.interval.ms = 5000check.crcs = trueclient.id = connections.max.idle.ms = 540000enable.auto.commit = falseexclude.internal.topics = truefetch.max.wait.ms = 500fetch.min.bytes = 1group.id = bigdataheartbeat.interval.ms = 3000inte原创 2021-02-07 21:55:15 · 4793 阅读 · 2 评论 -
Kafka不丢失数据与不重复消费数据
文章目录一、不丢失数据1.生产者数据不丢失2.消费者数据不丢失二、不重复消费数据一、不丢失数据1.生产者数据不丢失同步模式:配置=1(只有Leader收到,-1所有副本成功,0不等待)。leader partition挂了,数据就会丢失。解决:设置为-1保证produce写入所有副本算成功 producer.type=sync request.required.acks=-1异步模式,当缓冲区满了,如果配置为0(没有收到确认,一满就丢弃),数据立刻丢弃解原创 2021-01-01 17:26:37 · 9936 阅读 · 0 评论 -
Kafka终极面试题
1. Kafka 中的 ISR(InSyncRepli)、 OSR(OutSyncRepli)、 AR(AllRepli)代表什么?ISR:In-Sync Replicas 副本同步队列AR:Assigned Replicas 所有副本ISR是由leader维护,follower从leader同步数据有一些延迟(包括延迟时间replica.lag.time.max.ms和延迟条数replica.lag.max.messages两个维度, 当前最新的版本0.10.x中只支持replica.lag.tim原创 2020-08-16 22:26:39 · 12400 阅读 · 3 评论 -
Kafka Message(消息)有哪几部分组成?
CRC32:4个字节,消息的校验码。magic:1字节,魔数标识,与消息格式有关,取值为0或1。当magic为0时,消息的offset使用绝对offset且消息格式中没有timestamp部分;当magic为1时,消息的offset使用相对offset且消息格式中存在timestamp部分。所以,magic值不同,消息的长度是不同的。attributes: 1字节,消息的属性。其中第0~ 2位的组合表示消息使用的压缩类型,0表示无压缩,1表示gzip压缩,2表示snappy压缩,3表示lz4压缩。第3.原创 2020-08-06 17:04:32 · 6803 阅读 · 2 评论 -
Kafka 工作原理介绍
两张图读懂kafka应用:Kafka 中的术语:broker:中间的kafka cluster,存储消息,是由多个server组成的集群。topic:kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。producer:往broker中某个topic里面生产数据。consumer:从broker中某个topic获取数据。Kafka 中的术语设计:1、Broker中间的kafka cluster,存储消息,是由多个server组成的集群。2、topic与消原创 2020-07-29 18:01:10 · 9605 阅读 · 0 评论 -
kafka topic消息分配partition规则
我们知道Kafka 的消息通过topic进行分类。topic可以被分为若干个partition来存储消息。消息以追加的方式写入partition,然后以先入先出的顺序读取。下面是topic和partition的关系图:我们一般会在server.conf中通过num.partitions参数指定创建topic时包含多少个partition。默认是num.partitions=1。既然一个to...原创 2020-03-25 16:39:31 · 4799 阅读 · 0 评论