目录:
- 集群搭建的好处:高可用
- 集群搭建的方式及步骤
- 生产:多台服务器搭建kafka集群,未实践(可以使用虚拟机搭建:https://www.jianshu.com/p/5297773fcc1b)
- 下载zookeeper、kafka,并安装
- 配置
- 启动
- 开发:一台服务器搭建kafka集群(windwos服务器下单机搭建)
- 开启zookeepr集群
- 下载kafak,并安装
- 拷贝server.properties文件
- 修改配置文件
- 启动kafka
- 生产:多台服务器搭建kafka集群,未实践(可以使用虚拟机搭建:https://www.jianshu.com/p/5297773fcc1b)
- 可参考:Kafka---如何配置Kafka集群和zookeeper集群
一.生产:多台服务器搭建kafka集群
简要步骤:以3台服务器为例
- 3台服务器都下载zookeeper和kafka,并安装
- 配置
配置zookeeper的zoo.conf
配置kafka的servers.properties - 开启zookeeper和kafka
二.开发:一台服务器搭建kafka集群(windwos服务器下单机搭建)
详细步骤:
- 开启zookeeper集群:zookeeper集群部署-windows系统下
- 下载kafka,并安装
- 拷贝server.properties文件
- 修改配置文件
- 启动新增的broker
1.下载kafka,并安装
2.在conf目录下,找到server.properties文件,并且复制2份
3.修改配置文件
server.properties:
#添加
broker.id=0
listeners=PLAINTEXT://:9092
log.dir=./kafka-logs
#zookeeper.connect 指的是zookeeper集群的地址,可以是多个,多个之间用逗号分割。
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
#其他的参数不用动
server-1.properties:
#添加
broker.id=1
listeners=PLAINTEXT://:9093
log.dir=./kafka-logs
#zookeeper.connect 指的是zookeeper集群的地址,可以是多个,多个之间用逗号分割。
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
#其他的参数不用动
server-2.properties:
#添加
broker.id=2
listeners=PLAINTEXT://:9094
log.dir=./kafka-logs
#zookeeper.connect 指的是zookeeper集群的地址,可以是多个,多个之间用逗号分割。
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
#其他的参数不用动
4.启动这3个kafak:(这是windows下的命令),请参考Kafka在Windows安装运行
>.\bin\windows\kafka-server-start.bat .\config\server.properties
>.\bin\windows\kafka-server-start.bat .\config\server-1.properties
>.\bin\windows\kafka-server-start.bat .\config\server-2.properties
5.测试
- 创建主题
- 创建生产者
- 创建消费者