Kafka
Dim_Jerry
这个作者很懒,什么都没留下…
展开
-
Kafka数据不丢失机制
4.3 数据不丢失机制一般我们在用到这种消息中间件的时候,肯定会考虑要怎样才能保证数据不丢失,在面试中也会问到相关的问题。但凡遇到这种问题,是指3个方面的数据不丢失,即:produce r端数据不丢失、 consumer 端数据不丢失、 broker端数据不丢失。下面我们分别从这三个方面来学习,kafka是如何保证数据不丢失的4.3.1 broker端数据不丢失(leader竞选导致消息丢失)生产者通过分区的leader写入数据后,所有再ISR中的follower都会从leader中复制数据,这样,可原创 2020-11-06 17:20:58 · 328 阅读 · 0 评论 -
Kafka数据内存存储结构(四)
4. Kafka 存储形式4.1 存储结构通过上图,我们可以大概了解到一点,Kafka是通过主题进行对数据进行分类的,而一个主题可以划分为多个partition分区,同一topic的不同partition可能分布在不同机器上,进而实现分布式高性能的特点。对于partition在系统中是一个文件夹,其中可能包含多个segment。我们可以设置segment在内存中的大小,当保存的消息大于segment的大小时,会再建一个segment。一个segment段由三个文件组成,分别为 .log , .in原创 2020-11-06 17:20:15 · 760 阅读 · 0 评论 -
Kafka底层原理及面试题(三)
3. Kafka原理3.1 Leader 和 Follower 在Kafka中,每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower。在创建topic时,Kafka会将每个分区的leader均匀地分配在每个broker上。我们正常使用Kafka是感觉不到leader、follower的存在的。 但其实,所有的读写操作都是由leader处理的,而所有的follower都是复制leader的日志数据文件,如果leader出现故障时,follower原创 2020-11-04 15:40:38 · 1068 阅读 · 0 评论 -
Kafka分区、副本机制(二)
2.Kafka 高级2.1. 分区和副本机制2.1.1 分区写入策略生产者可以写入消息到同批次中,Kafka将会根据不同的策略分配到不同的分区中。分区策略主要3种:轮询分区策略这是一种默认的策略,也是采用最多的策略。它可以最大限度保证所有的消息平均分配到一个分区中。当生产者生产消息时,将key设置为 null, 则认为使用轮询算法均匀地分配分区。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yKkRTPXS-1604475558866)(原创 2020-11-04 15:39:41 · 175 阅读 · 0 评论 -
基于Linux的Kafka安装,初步认识Kafka(一)
目录1. 认识kafka1. 搭建单机kafka2. 单机基准测试3. 搭建 kafka伪集群(待补充)4. kafka 基本概念5. 幂等性1. 认识kafka1. 搭建单机kafka将kafka的安装包上传到虚拟机,并解压cd /usr/loacl/tar -zxvf kafka_2.13-2.6.0.tgzcd /usr/local/kafka_2.13-2.6.0修改 server.propertiescd /usr/local/kafka_2.13-2.6.0/conf原创 2020-11-01 14:39:15 · 316 阅读 · 0 评论