lightupworld的博客

记录工作中Kafka方面的常用命令和问题一、常用命令二、常见问题 一、常用命令 二、常见问题 如何查看Kafka的安装路径。 jps -> ps -ef | grep kafka的进程号

第8章 可靠性探究8.1 副本剖析8.1.1 失效副本8.1.2 ISR伸缩8.1.3 LEO与HW8.2 日志同步机制8.3 可靠性分析 8.1 副本剖析 Kafka 0.8 版本开始为分区引入了多副本机制，通过增加副本数量来提升数据容灾能力。同时， Kafka 通过多副本机制实现故障自动转移，在 Kafka 集群中某 broker 节点失效的情况下，仍然保证服务可用。 8.1.1 失效副本 正常情况下，分区的所有副本都处于 ISR 集合中，但是难免会有异常情况发生，从而某些副本被剥离出 ISR 集

第7章 深入客户端7.1 分区分配策略7.2 消费者协调器和组协调器7 .3 __consumer _offsets 剖析7.4 事务与幂等7.4.1 消息传输保障7.4.2幂等7.4.3 事务 7.1 分区分配策略 详解Kafka中所有的分区分配. 7.2 消费者协调器和组协调器 TODO 7 .3 __consumer _offsets 剖析 位移提交的内容最终会保存到 Kafka 的内部主题 __consumer_offsets 。 7.4 事务与幂等 7.4.1 消息传输保障 一般而言，

详解Kafka中所有的分区分配一、生产者的分区分配1.指定了partition字段2.没有指定partition字段二、消费者的分区分配1. RangeAssignor分配策略(1) RangeAssignor分配策略原理：(2)示例(3) 策略缺点2. RoundRobinAssignor分配策略(1) RoundRobinAssignor策略原理(2)示例(3) 策略缺点3.StickyAssignor分配策略(1) StickyAssignor分配策略原理(2)示例4.自定义分区分配策略三、 分区副本

Kafka高吞吐性能分析1.顺写日志2.页缓存2.1 页缓存的读取2.2 页缓存的写入3 零拷贝3.1 非零拷贝技术3.2 零拷贝技术4.面试题："kafka为什么快？" 的正确回答姿势 本节主要讲解kafka的高吞吐，这里的主要指的是Kafka为什么快？ 主要因为应用了 顺写日志、页缓存、零拷贝、消息压缩等技术。 1.顺写日志 kafka依赖文件系统(磁盘)来存储消息。kafka在设计时采用文件追加的方式来写入消息。 只能在日志文件的尾部追加新的消息，并且不允许修改已

第5章 日志存储5.1文件目录5.2 日志格式的演变5.2.1 v0版本5.2.2 v1版本5.2.3 消息压缩5.2.4 变长字段5.2.5 v2版本5.3 日志索引5.3.1 偏移量索引(1) relativeOffset(2) position(3) 查找过程5.3.2 时间戳索引(1) timestamp(2) relativeOffset(3) 查找过程5.4 日志清理5.4.1 日志删除1.基于时间2.基于日志大小3.基于日志起始偏移量5.4.2 日志压缩 5.1文件目录 Kafka引入

第4章 主题与分区4.1主题的管理4.1.1创建主题4.1.2 分区副本的分配4.1.3 查看主题4.1.4修改主题4.1.5 配置管理4.1.6 主题端参数4.1.7 删除主题1.delete命令2.使用zk 删除主题(1) 可以直接通过 ZooKeeper 客户端来删除主题(2) 手动的方式来删除主题4.2 初始化KafkaAdminClient4.3 分区的管理4.3.1 优先副本的选举4.3.2 分区自动平衡4.3.3 分区重分配4.3.4 复制限流4.3.5 修改副本因子4.4 如何选择合适的分区

第三章 消费者3.1 消费者与消费者组3.2 客户端开发消费者客户端代码示例3.2.1 必备的参数配置① bootstrap.servers:②group.id:③key.deserializer 与 value.deserializer3.2.2 订阅主题与分区(1)订阅主题①基于集合②基于正则(2)订阅分区(3)取消订阅3.2.3 反序列化3.2.4 消息消费3.2.5 位移提交(1)位移提交引起的 重复消费 和 数据丢失问题①数据丢失②重复消费(2)手动提交位移①手动提交——同步提交 commitSy

第二章 生产者2.1客户端开发生产者客户端示例代码2.1.1 必要的参数配置① bootstrap.servers ：② key serializer 和 value serializer:2.1.2 消息的发送发送消息的三种模式1.发后即忘2.同步发送sync3.异步发送async2.1.3 序列化2.1.4 分区器(生产者消息 分区分配策略)1.指定了partition字段2.没有指定partition字段(1)使用Kafka默认分区器DefaultPartitioner源码解读(2)自定义分区器总结：

第一章 初始Kafka1.1 基本概念1.体系架构2.主题Topic 、分区Partition 与 偏移量offset3.生产者分区分配策略4.多副本机制5.AR ISR OSR6. HW 、 LEO8.kafka同步复制 和 异步复制 机制 Kafka“扮演”三大角色 ·消息系统 Kafka 具备系统解耦、冗余存储、流量 峰、缓冲、异步通信、扩展性、 可恢复性等功能。 与此同时， Kafka供了大多数消息系统难以实现的消息顺序性保障 及 回溯消费的功能