![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 64
凉拌海蜇丝
我要一步一步往上爬~
展开
-
kafka消费者协调器与重分配平衡机制
###(1)协调器是什么?什么是协调器,既然叫做协调器,那么肯定就是起协调作用的。协调器协调的对象,是Kafka中的生产者与消费者的协调。###(2)为什么需要协调?我们想象一下,Kafka中都是一个生产者,对应着一个消费组中的一个消费者(不可能存在一个消费组两个消费者消费同一个topic主题生产者),一群消费者中也只有一个leader,其他follower都是从leader同步数据的,如果某个leader由于网络延迟抖动,形成假死,如果没有协调器统一主持选举,就会出现多个leader的脑裂效应。同原创 2021-02-01 14:44:03 · 522 阅读 · 0 评论 -
Kafka的两种数据清除策略
我们都知道kafka是用.log文件来保存数据的如果海量数据一直保存着,磁盘肯定不够用,在生产环境我们就遇到了吃爆磁盘的问题,才开始关注数据清除策略(1) delete 删除策略(默认)触发清除操作后,数据超过了指定的时间就全部删除留存168个小时,也就是默认7天,后来我们的大佬把生产环境改成了3,也就是只保留3个小时(2)compact 压缩策略配置server.properties:log.cleaner.enable = true (新版本好像是默认true,老版本好像是false原创 2021-02-01 11:30:45 · 2615 阅读 · 0 评论 -
ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger
意思是说你当前集群是单节点,无法创建两个副本.指定的副本数<=集群机器数原创 2020-12-21 18:01:05 · 1813 阅读 · 0 评论 -
Kafka中HW和LEO和副本的关系
HW :High Water 最高水位LEO:Log End Offset 数据日志文件结束偏移量先看图吧:假设AB两个副本都是Topic的,B是Leader,A是follower,A数据同步明显滞后,这个时候用户能读取的数据,最多能消费到最高水位HW = 6 的位置,但是这两副本(Leader和Follower)它们的LEO是不一样的,A是6,B是8,但是它们的HW却一样。我们可以把它看作是木桶短板效应,用户能用多少水,要看最高水位能装到多少,最高水位限制于LEO最后数据日志文件偏移量。与副本原创 2020-12-21 17:56:53 · 616 阅读 · 1 评论 -
zookeeper is not a recognized option Kafka报错
创建消费者的时候报的问题:./kafka-console-consumer.sh --topic XX–zookeeper localhost:2181 --from-beginning改成:./kafka-console-consumer.sh --topic XX–bootstrap-server localhost:2181 --from-beginning 创建成功创建消费者的时候,如果是 --zookeeper ,那么消费者生产的信息(偏移量等)会被保存到ZK里面。如果是–bootstrap-原创 2020-12-21 17:32:40 · 640 阅读 · 0 评论 -
Kafka+SpringBoot多线程消费与分区消费踩过的坑
创建Topic的时候,可以置顶分区数和副本数,在kafka/config/sever.properties文件修改num.partitions = ? 即可定义你的默认分区数~在SpringBoot集成中,我们只需要配置:@KafkaListener(topics = “test_topic” ,groupId = “test”,concurrency = “3”) 就可以实现监听消费。https://blog.csdn.net/whiteBearClimb/article/details/109532原创 2020-12-21 17:06:40 · 5541 阅读 · 1 评论 -
Kafka中的Offset偏移量+新老版本偏移量位置的改动
我们Kafka中的message,既然是写在XXXXXX.log文件中,不管存了多少数据,只要超过1G大小,就又开启一个新的Log文件存message,文件内部分多个segment分段。文件命名就是segment分段的起始位置命名,例如:第一个segment分段:0000000000.log(包含message0~37)、第二个segment分段0000000038.log(包含message38~75)、第三个segment分段00000000076.log(包含message76~113)… 第N个原创 2020-12-21 14:47:00 · 2203 阅读 · 0 评论 -
Linux如何查看Kafka版本
YUM 安装方式在 /etc/下可以找到Ambari + HDP 安装方式在 /usr/hdp/3.1.4.0-315/kafka查看Kafka版本:/usr/hdp/3.1.4.0-315/kafka/libs下的文件信息即可看到原创 2020-12-18 17:47:43 · 5101 阅读 · 1 评论 -
Kafka中的AR,ISR,OSR
在查看topic详细信息的话可以看到有个Isr,一开始不明所以,于是深入去学习了,不看不知道一看吓一跳:首先要引出一个问题,为什么要存在这些东西:在数据同步的时候,如果发生leader死掉,并且重新选举的leader能力不强(数据同步速度慢,数据同步不全面),会造成一群follow跟着一个傻逼leader。造成脏数据。所以我们就要知道哪些副本能力是较强的,同步数据是最快最完整的,在leader发生问题后第一时间补上。AR:Assigned Replicas 总的分配副本OSR:Out-of-Syn原创 2020-12-18 17:46:23 · 4656 阅读 · 4 评论 -
Kafka基本概念及其入门级问题问答
(1)Kafka是什么?它是为了解决大数据实时传输处理的一个中间件,基于发布订阅模式设计的,可以看作是MQ,也可以当作数据库使用(不推荐)。上图再看概念:Producer:数据的生产者。Kafka Cluster:Kafka集群。Broker:Kafka Cluster集群下会有多个Broker,就是一个个Kafka集群中的节点。Topic:主题,做消息类型分类。Kafka是基于发布订阅模式的,所以主题就是供消费者们订阅的。Partition:分区,提高主题的负载能力,不管是读写,都能分散到原创 2020-12-18 17:22:34 · 142 阅读 · 1 评论 -
一段话理解稠密索引和稀疏索引
大家都是索引,稠密索引是每条数据都存,稀疏索引是跳跃式的隔着固定一段距离再存下一个key。稠密索引稀疏索引特点就是:稀疏索引需要的空间小,占用内存也小,但是查询次数更多,速度较慢。稠密索引占用空间大,但是查询次数更少,速度更快。(要么空间换时间,要么时间换空间)实际运用中:Kafka:Kafka存放segement数据段就是采用的稀疏索引,针对一个topic主题下进行的partition物理文件做分区,每个partition内部又分成多个segment,segment里面存的才是一条条原创 2020-12-07 18:37:06 · 3943 阅读 · 1 评论 -
Consumer cannot be configured for auto commit for ackMode MANUAL_IMMEDIATE
Kafka不能既开启消费端的自动应答又开启监听模式的自动应答原创 2020-11-06 15:38:08 · 7617 阅读 · 0 评论 -
No group.id found in consumer config, container properties, or @KafkaListener annotation; a group.id
监听模式下要给消费组定义 group id:重启即可原创 2020-11-06 15:35:33 · 2369 阅读 · 0 评论 -
SpringBoot集成Kafka(一消费组监听消费多topic主题)
首先这里只是个演示案例,当普通MQ用,使用坚听消费模式,直接开整:(1)pom.xml 加依赖<!--Spring整合Kafka--> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependenc原创 2020-11-06 15:33:49 · 7147 阅读 · 0 评论 -
Kafka自带客户端指令实现发布订阅模式
(1)安装Kafka:brew install kafka(2) cd /usr/local/Cellar/kafka/2.6.0/bin 进到启动目录,执行kafka-server-start挑出一堆东西没报错就是启动成功。(3)启动一个客户端创建一个topic主题,可以把它看成RabbitMQ中的queue。kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topi原创 2020-11-06 11:10:45 · 801 阅读 · 0 评论