hiliang521的博客

>本文主要介绍了>- kafka raft集群架构：> 与旧架构的不同点，有哪些优势，哪些问题> 架构成员有哪些，怎么规划。> - 三节点集群安装、启动与测试

【kafka 5】kafka的工作原理：消费者的消费模型、offset的维护。生产者生产原理、消息发送确认机制

实际工作中，有时需要将生产者和消费者的功能集成到已有的系统中，此时需要写代码实现生产者和消费者的逻辑。

kafka启动的时候不需要scala环境，只有编译源码的时候需要， 运行的时候是在jvm运行的，所以需要jdk环境就可。kafka支持单机和集群模式，学习阶段推荐使用单机，单机和集群在操作上是没有区别的。zk的每一个目录称之为节点（ZNode），ZNode节点本身是可以存储数据的。之后使用的时候需要知道zk监听的是哪个端口。zk的目录结构和linux文件系统的目录结构类似。1、使用zk的客户端工具连接zk,进入zk命令行。三个节点（Hadoop01，02，03）。kafka是依赖zk的，所以需要安装zk。.

> 通过官网我们可以知道> - kafka是一个**事件流**平台，具有：读写数据，设置数据保存时常，以及设定消费策略（实时、重复消费）的能力。> - kafka由server和client组成，他们之间通过TCP进行通讯。> - kafka有：生产者、消费者、topic、分区等主要概念，其中分区实现了：分区存储、容错性以及性能的提升。> - 可以通过kafka 提供的api实现：生产、消费、处理数据等功能。> - kafka一般用于：缓存/消峰、解耦和异步通信等场景中。......

官网提供的quickstart可以让读者快速入门kafka：启动server、创建topic、生产数据到topic、本地启动一个multi-broker 集群，导入导出数据等功能。