![](https://img-blog.csdnimg.cn/20210823103638673.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 93
Kafka
码上得天下
这个作者很懒,什么都没留下…
展开
-
Kafka 高可靠高性能原理探究
为了实现强可靠的 Kafka 系统,我们需要设置Request.required.acks= -1,同时还会设置集群中处于正常同步状态的副本 Follower 数量 min.insync.replicas>2,另外,设置unclean.leader.election.enable=false 使得集群中 ISR 的 Follower 才可变成新的 Leader,避免特殊情况下消息截断的出现。在 Kafka 的生产者客户端中,当发送消息时,如果启用了压缩技术,Kafka 会将消息进行压缩后再进行传输。转载 2024-02-28 20:39:48 · 33 阅读 · 0 评论 -
Kafka Leader选举流程和选举策略
所有的分区状态的流转都是通过分区状态机来进行的, 统一管理!每个分区状态的流转 都是有严格限制并且固定的,流转到不同状态需要执行的操作不一样, 例如 当分区状态流转到 的时候, 就需要判断是否需要执行Leader选举。转载 2024-02-28 20:30:32 · 192 阅读 · 0 评论 -
Kafka分区Leader选举过程
本文介绍了Kafka Leader Replica(领导者副本)的选举过程,包括Leader Replica的基本概念、选举触发时机、选举策略和选举过程。Leader Replica选举的目的是为了保证数据在分区副本之间的可靠传输和一致性,常见的选举触发情况包括Leader Replica失效、Broker宕机、新增Broker、新建分区、ISR列表数量减少和手动触发。常见的选举策略包括ISR选举策略、首选副本选举策略和不干净副本选举策略。转载 2024-02-28 19:52:17 · 130 阅读 · 0 评论 -
Kafka Controller选举过程
Controller作为Kafka集群中的核心组件,它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。Kafka的所有数据都存储在Broker节点中,同时它们还负责处理客户端的读写请求,以及在Broker节点之间复制数据以确保数据的可靠性和高可用性。脑裂问题是分布式系统中经常出现的现象,Kafka脑列问题是由于网络或其他原因导致多个Broker认为自己是Controller,从而导致元数据不一致和分区状态混乱的问题。转载 2024-02-28 19:51:14 · 115 阅读 · 0 评论 -
Kafka如何保证宕机时数据不丢失?
面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响?这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,以及背后的原理。acks=all 就可以代表数据一定不会丢失了吗?当然不是,如果你的Partition只有一个副本,也就是一个Leader,任何Follower都没有,你认为acks=all有用吗?转载 2023-03-27 12:10:40 · 789 阅读 · 0 评论 -
Kafka设计缓冲池机制解决频繁GC问题
这篇文章我们从Kafka内存缓冲机制的设计思路开始,一直分析到了JVM GC问题的产生原因以及恶劣的影响。接着谈到了Kafka优秀的缓冲池机制的设计思想以及他是如何解决这个问题的,分析了很多Kafka作者在设计的时候展现出的优秀的技术设计思想和能力。希望大家多吸取这里的精华,在以后面试或者工作的时候,可以把这些优秀的思想纳为己用。版权声明:本文为CSDN博主「石杉的架构笔记」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。转载 2023-03-27 11:55:21 · 207 阅读 · 0 评论 -
Kafka的reblance机制
本文概要本文主要讨论Kafka新版本reblance机制的优缺点,通过这篇文章,你可以了解到以下内容:什么是Reblance Reblance过程 Kafka1.1对Reblance的优化 Kafka2.3对Reblance的优化 新版本Reblance存在的问题什么是ReblanceReblance是Kafka协调者把partition分配给Consumer-group下每个consumer实例的过程 在执行Reblance期间,Group内的所有Consumer无法消费消息。因此频转载 2022-01-14 21:29:59 · 1246 阅读 · 0 评论 -
kafka消息重复和丢失的场景及解决方案分析
消息重复和丢失是kafka中很常见的问题,主要发生在如下三个阶段:数据库生产者阶段 broke阶段 消费者阶段1、生产者阶段重复场景一、根本缘由生产发送的消息没有收到正确的broke响应,致使producer重试。producer发出一条消息,broke落盘之后由于网络等种种缘由发送端获得一个发送失败的响应或者网络中断,而后producer收到一个可恢复的Exception重试消息致使消息重复。二、重试过程说明:1. new KafkaProducer()后建立一个后台线程.转载 2022-01-12 12:42:46 · 2817 阅读 · 0 评论 -
Kafka为什么吞吐量大、速度快?
Kafka是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储,但却具有高性能、高吞吐、低延时的特点,其吞吐量动辄几万、几十上百万。但是很多使用过Kafka的人,经常会被问到这样一个问题,Kafka为什么速度快,吞吐量大;大部分被问的人都是一下子就懵了,或者是只知道一些简单的点,本文就简单的介绍一下Kafka为什么吞吐量大,速度快。一、顺序读写众所周知Kafka是将消息记录持久化到本地磁盘中的,一般人转载 2021-12-03 10:39:04 · 292 阅读 · 0 评论 -
大白话 kafka 架构原理
大数据时代来临,如果你还不知道Kafka那就真的out了!据统计,有三分之一的世界财富500强企业正在使用Kafka,包括所有TOP10旅游公司,7家TOP10银行,8家TOP10保险公司,9家TOP10电信公司等等。LinkedIn、Microsoft和Netflix每天都用Kafka处理万亿级的信息。本文就让我们一起来大白话kafka的架构原理。kafka官网:http://kafka.apache.org/01、kafka简介Kafka最初由Linkedin公司开发,是一个分布式的、分.转载 2021-07-05 11:26:33 · 295 阅读 · 0 评论 -
Kafka为什么速度那么快?
https://blog.csdn.net/z69183787/article/details/80323581https://www.jianshu.com/p/da400265b1e8转载 2020-09-02 22:01:31 · 347 阅读 · 0 评论