Kafka集群搭建和配置

Kafka配置优化

https://www.jianshu.com/p/f62099d174d9

 

1.安装&配置

下载tar包

 

解压后即可使用

 

修改配置文件

将server.properties复制和修改为三个配置文件（为启动3个kafka服务做准备）

 

设置broker.id，集群中各节点的标识，要求不重复

 

绑定端口和ip

 

设置日志文件（数据文件）存放位置

 

设置zk地址和连接超时时间（为方便演示，使用kafka自带的zk）

 

另外两个配置文件参考以上配置，并设置端口为9092，,9094

 

2.自动zk

kafka集群的高可用依赖zk，启动kafka之前要先启动zk（生产环境应使用独立的zk集群）

为方便查看日志，这里使用前台启动方式，生产环境应使用daemon方式

 

3.启动kafka集群

kafka集群是去中心化的，所以无需关注集群中各服务的启动书序

 

同样的，为了方便查看日志，测试时使用前台启动方式

 

 

启动另外两个kafka broker服务，可以看到kafka集群和zk都已启动

 

4.通过kafka自带的console producer和consumer测试订阅和发布

 创建一个topic（新版本的kafka，offset存放在topic中）

 

启动console producer，kafka是去中心化的，连接集群中任何一个节点都可以进行消息发布，kafka会在内部进行同步

 

启动console consumer

 

在producer窗口发布消息

 

consumer成功消费到了消息

 

转载于:https://www.cnblogs.com/zhya/p/9639815.html