![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 80
Kafka
cpuCode
站在巨人的肩上行走 https://github.com/CPU-Code
展开
-
Kakfa 导航
Kafka 分区策略 压缩算法 消息不丢失 拦截器 TCP管理 幂等 消费者 位移主题 重平衡 位移提交 CommitFailedException 多线程消费者 消费进度 副本机制 请求处理 重平衡 高水位 Kafka控制器 主题管理 动态配置 消费组位移原创 2023-03-02 19:04:37 · 225 阅读 · 0 评论 -
Kafka 调优
挂载 (Mount) 文件系统时 , 禁掉 atime 更新 (access time,文件最后被访问的时间)Broker 设置堆大小 : 经验值 : JVM 堆大小 = 6~8GB。Broker 端调优 : 保持客户端版本和 Broker 端版本一致。,防止 Linux 的 OOM Killer 随意杀掉进程。JVM 调优 : 设置堆大小/ GC 收集器的选择。生产环境中,用较小的延时,来提升 TPS。GC 收集器用 G1 收集器。原创 2023-03-12 21:19:45 · 2864 阅读 · 0 评论 -
Kafka 监控
Broker JVM 进程默认用 G1 的 GC 算法,当 cleanup 结束后,堆上活跃对象大小从 827MB 缩减成 645MB。load average 的过去 1 分钟、过去 5 分钟、过去 15 分钟的 Load 平均值:4.85、2.76、1.26。例子 : Broker 进程进行 Full GC 后,堆上存活的活跃对象大小是 700MB。客户端与 Broker 的网络往返时延(Round-Trip Time,RTT)主机监控 : 监控 Kafka 集群 Broker 所在的节点机器的性能。原创 2023-03-12 21:15:57 · 1762 阅读 · 0 评论 -
KafkaAdminClient
KafkaAdminClient 诞生原因 : - 命令行运维监控困难- 很多命令行脚本会连接 ZK (会跳过 Kafka 权限检查)- 统一服务端/客户端的运维机制原创 2023-03-12 21:16:12 · 569 阅读 · 0 评论 -
Kafka 动态配置
动态配置 : 修改参数后,无需重启 Broker 就能生效。原创 2023-03-12 21:14:36 · 1877 阅读 · 2 评论 -
Kafka控制器
控制器 (Controller) : 在 ZooKeeper 帮助下管理和协调整个 Kafka 集群选择控制器 :Broker 启动时,会尝试在 ZooKeeper 创建节点。原创 2023-03-12 21:11:41 · 199 阅读 · 0 评论 -
Kafka 主题管理
_consumer_offsets 占用太多的磁盘,用。查看消费者组提交的位移数据。创建 Kafka 主题。查询单个主题的详细数据。原创 2023-03-11 21:41:44 · 433 阅读 · 0 评论 -
Kafka 消费组位移
Kafka : 基于日志结构(log-based)的消息引擎Earliest 策略 : 将位移调整到主题当前最早位移处Latest 策略 : 把位移重设成最新末端位移Current 策略 : 将位移调整成消费者当前提交的最新位移Specified-Offset 策略 : 消费者把位移值调整到你指定的位移处Specified-Offset 策略 : 指定位移的绝对数值Shift-By-N 策略 : 指定位移的相对数值 : 跳过一段消息的距离。原创 2023-03-11 21:39:21 · 644 阅读 · 0 评论 -
Kafka 跨集群备份
备份 : 把数据在单个集群下不同节点之间的拷贝镜像 (Mirroring) : 把数据在集群间的拷贝MirrorMaker 工具 : 实现消息或数据从一个集群到另一个集群的拷贝MirrorMaker : 消费者 + 生产者的程序整个镜像流程 :多套集群镜像 :whitelist.*原创 2023-03-11 21:41:19 · 310 阅读 · 0 评论 -
Kafka 工具脚本
查看消息批次 (RecordBatch) 或消息集合 (MessageSet) 的元数据信息,如 : 创建时间、压缩算法、CRC 校验值。向 Broker 发送 Produce 请求 : 客户端 API 用版本号是 7 (最新的版本)验证不同 Kafka 版本之间服务器和客户端的适配性。原创 2023-03-11 21:43:45 · 191 阅读 · 0 评论 -
Kafka 重平衡流程
消费者组的重平衡流程 : 让组内所有的消费者消费哪些主题分区达成一致。原创 2023-03-12 21:09:48 · 237 阅读 · 0 评论 -
Kafka 请求处理
Purgatory 组件 :缓存延时请求(Delayed Request)Kafka 客户端/ Broker 端的交互都是通过。Kafka 2.3 后分离数据类请求 ,控制类请求。Kafka 用 Reactor 模式。Broker 端处理请求的全流程。原创 2023-03-11 21:43:36 · 216 阅读 · 0 评论 -
Kafak 高水位
Kafka 的水位 : 表示消息位移。原创 2023-03-11 21:44:06 · 860 阅读 · 0 评论 -
Kafka 生产者 TCP 管理
Kafka 的所有通信都是基于 TCP原创 2023-03-10 21:08:38 · 370 阅读 · 0 评论 -
Kafka生产者幂等性/事务
数据库的事务的 ACID : 原子性(Atomicity) ,一致性 (Consistency) , 隔离性 (Isolation) , 持久性 (Durability)Kafka-0.11.0.0 引入幂等性 Producer。幂等 : 某些操作执行多次,但每次结果都是一样的。隔离性 :并发执行的事务彼此相互隔离,互不影响。幂等性 Producer 的作用范围。原创 2023-03-10 21:08:27 · 288 阅读 · 0 评论 -
Kafka 拦截器
拦截器 : 在不修改业务逻辑下,动态实现一组可插拔的事件处理逻辑链Kafka 拦截器能在消息处理的前后多个时点动态植入不同的处理逻辑所有 Producer 拦截器的实现类都要继承接口消费者拦截器的实现类都要继承接口。原创 2023-03-10 21:10:49 · 260 阅读 · 0 评论 -
Kafka 消息不丢失
Kafka 保证消息不丢失:只对已提交的消息 (committed message) 做有限度的持久化保证。原创 2023-03-10 21:09:15 · 708 阅读 · 0 评论 -
Kafka 压缩算法
压缩 (compression) : 用时间换空间的思想。原创 2023-03-09 18:42:29 · 898 阅读 · 0 评论 -
Kafka 分区机制
主题 (Topic) :承载真实数据的逻辑容器,主题下还分 n 个分区分区的作用 : 提供负载均衡的能力 , 为了实现系统的高伸缩性(Scalability)原创 2023-03-09 18:38:24 · 424 阅读 · 0 评论 -
Kafka 版本
不管用哪个版本,都要保持服务器端版本和客户端版本一致。原创 2023-03-07 18:09:14 · 1092 阅读 · 0 评论 -
Kafka消费者 TCP管理
消费者的程序入口类是。原创 2023-03-08 22:33:46 · 238 阅读 · 0 评论 -
Kafka CommitFailedException
CommitFailedException : Consumer 提交位移时 , 出现了错误或异常,还是不可恢复的严重异常CommitFailedException 一般出现在手动提交位移时。原创 2023-03-08 22:35:44 · 525 阅读 · 0 评论 -
Kafka 重平衡
例子 : 一个 Group 下有 10 个成员,每个成员平均消费 5 个分区。Coordinator 误认为某个 Consumer 已挂要退组。所有 Broker 启动时,会创建 Coordinator。例子 : 计算该 Group 的 Coordinator。( 默认值是 10 秒)原创 2023-03-08 22:34:34 · 395 阅读 · 0 评论 -
Kafka 消费者组
消费者组 (Consumer Group) : 可扩展且容错性的消费者机制。原创 2023-03-08 22:34:16 · 379 阅读 · 0 评论 -
Kafka 消费进度
监控消费进度 : 看滞后程度:消费者 Lag , Consumer Lag滞后程度 : 消费者落后于生产者的程度Lag : 反映消费者的运行情况。原创 2023-03-08 22:36:40 · 1645 阅读 · 0 评论 -
Kafka 位移主题
Kafka 的内部主题 (Internal Topic) :(位移主题,Offsets Topic)老 Consumer 会将位移消息提交到 ZK 中保存。原创 2023-03-08 22:38:37 · 464 阅读 · 0 评论 -
Kafka 位移提交
Consumer 的消费位移 : 记录 Consumer 下一条消息的消费位移提交位移 (Committing Offsets) : Consumer 向 Kafka 汇报位移数据。原创 2023-03-08 22:37:13 · 640 阅读 · 0 评论 -
Kafka 多线程消费者
新 Consumer 设计了单线程 + 轮询的机制 , 实现非阻塞式的消息获取。原创 2023-03-08 22:37:42 · 2048 阅读 · 0 评论 -
Kafka 集群参数
重要的配置 : Broker 端参数,主题级别的参数、JVM 端参数、操作系统级别的参数。原创 2023-03-08 22:39:45 · 163 阅读 · 0 评论 -
Kafka集群规划
生产环境的 Kafka 集群 , 要结合业务而制定操作系统、磁盘、带宽。原创 2023-03-08 22:40:00 · 197 阅读 · 0 评论 -
Kafka 概述
Kafka 属于分布式的消息引擎系统,主要功能 :提供一套完备的消息发布与订阅解决方案。原创 2023-03-07 18:11:13 · 359 阅读 · 0 评论 -
Kafka 副本机制
Kafka 属于分布式的消息引擎系统,主要功能 :提供一套完备的消息发布与订阅解决方案。原创 2023-01-09 16:05:18 · 565 阅读 · 0 评论 -
Kafka 错误现象 InconsistentClusterIdException: The Cluster ID xxxx doesn‘t match stored clusterId
Kafka错误现象解决方案错误现象ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentClusterIdException: The Cluster ID O5VUsEiBRUy80Bm68dK6Fw doesn’t match stored clusterId Some(8DwFUW-4TN622OCdBbLblw)原创 2022-03-02 20:17:19 · 1216 阅读 · 2 评论