![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 89
陈小哥cw
这个作者很懒,什么都没留下…
展开
-
kafka2.x和3.x相关命令
Kafka2.x命令。原创 2023-09-07 17:22:20 · 425 阅读 · 0 评论 -
kafka核心概念和角色
文章目录1.概述2.Producer3.Consumer4.Consumer Group5.Broker6.Topic7.Partition8.Offset9.持久化10.Replica副本机制11.zookeeper1.概述kafka里面的消息是有topic来组织的,简单的我们可以想象为一个队列一个topic就是一个消息队列,然后它把每个topic又分为很多个partition这个是为了做并行的,更加方便扩展,而且提高了吞吐量在每个partition内部消息强有序,相当于有序的队列,其中每原创 2020-06-21 11:28:36 · 1392 阅读 · 0 评论 -
Kafka数据可靠性保证-ack,ISR,HW
文章目录1.副本数据同步策略2.ISR,AR3.ack应答机制4. HW,LEO,LSO,LW名词解释5.故障处理细节1.follower故障2.leader故障6.ISR 集合和 HW、LEO的关系为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确认收到),如果producer收到ack,就会进行下一轮的发送,否则重新发送数据。1.副本数据同步策略原创 2020-06-21 11:25:30 · 1375 阅读 · 2 评论 -
Kafka工作流程及文件存储机制
文章目录一,Kafka工作流程二,文件存储机制2.1 存储机制2.2 index和log文件详解2.3 message的结构2.4 如何通过offset查找Message?三,数据目录结构一,Kafka工作流程Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到原创 2020-06-21 11:21:42 · 502 阅读 · 0 评论 -
Kafka相关面试题详解
文章目录面试题列表1.突发宕机,Kafka写入的数据如何保证不丢失?Kafka 分布式存储架构Kafka 高可用架构Kafka 写入数据丢失问题Kafka 的 ISR 机制是什么?Kafka 写入的数据如何保证不丢失?总结2.Kafka如何实现每秒上百万的超高并发写入?页缓存技术 + 磁盘顺序写零拷贝技术总结3.Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)等分别代表什么?4. Kafka中的HW、LEO、LSO、LW等分别代表什么?5. Kaf原创 2020-06-21 11:02:32 · 1308 阅读 · 0 评论 -
Kafka三种可视化监控管理工具monitor,manager,eagle
1.Kafka Monitor下载链接: https://github.com/Morningstar/kafka-offset-monitor/releases/tag/0.4.6上传jar包KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar到集群在/opt/module/下创建kafka-offset-console文件夹将上传的jar包放入刚创建的目录下在/opt/module/kafka-offset-console目录下创建启原创 2020-06-21 10:48:44 · 19356 阅读 · 1 评论 -
kafka消费者API之自定义存储offset 到mysql中
pom文件<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency>原创 2020-06-21 10:40:52 · 1207 阅读 · 0 评论 -
Kafka消费者组三种分区分配策略roundrobin,range,StickyAssignor
一个consumer group中有多个consumer,一个 topic有多个partition,所以必然会涉及到partition的分配问题,即确定那个partition由哪个consumer来消费。Kafka有两种分配策略,一是roundrobin,一是range。最新还有一个StickyAssignor策略将分区的所有权从一个消费者移到另一个消费者称为重新平衡(rebalance)。当以下事件发生时,Kafka 将会进行一次分区分配:同一个 Consumer Group 内新增消费者原创 2020-06-21 10:38:20 · 3679 阅读 · 1 评论 -
Kafka入门之命令行操作
1.创建topic[root@node01 kafka]$ bin/kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --replication-factor 3 --partitions 3 --topic test# CDH版本kafka-topics --zookeeper cm1:2181,cm2:2181,cm3:2181 --create --replication-factor 3 --p原创 2020-06-21 10:33:52 · 753 阅读 · 0 评论