Kafka集群的安装

目录

 

1、下载

2、解压安装包

3、修改配置文件

4、分发安装包   将配置好的kafka发送到其他两台虚拟机

5、修改配置文件    

6、启动集群

7、使用脚本启动（之前启动方式太冗余）

7.1、編寫啓動脚本，用点sh 脚本的方式  快速启动kafka ：

7.2、直接调用点sh文件就能启动

---

1、下载

从 http://kafka.apache.org/downloads.html下载kafka_2.11-1.0.1.tgz安装包

2、解压安装包

把安装包解压到指定目录

tar –zxvf /root/ kafka_2.11-1.0.1 -C /usr/local/

3、修改配置文件

vi  /usr/local/ kafka_2.11-1.0.1/config/server.properties

# 修改 broker 的编号，必须唯一且不能重复

broker.id=0

# 处理网络请求的线程数量

num.network.threads=3

# 处理磁盘请求的线程数量

num.io.threads=8

# 发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

# 接受套接字的缓冲区大小

socket.receive.buffer.bytes=102400

# 数据存放目录

log.dirs=/tmp/kafka-logs

#topic 在当前 broker 上的分片数量

num.partitions=1

#segment 文件保存时间，默认 7 天

log.retention.hours=168

# 连接 zookeeper 的节点

zookeeper.connect=192.168.16.100:2181

4、分发安装包   将配置好的kafka发送到其他两台虚拟机

scp -r /usr/servers/ kafka_2.11-1.0.1 hadoop02:/usr/local

5、修改配置文件    

依次修改各服务器上配置文件的的broker.id，不得重复。

6、启动集群

在各个节点运行kafka   

bin/kafka-server-start.sh  config/server.properties

注意：运行 kafka 需要使用 zookeeper ，需要先启动 zookeeper

7、使用脚本启动（之前启动方式太冗余）

 

7.1、編寫啓動脚本，用点sh 脚本的方式  快速启动kafka ：

 

脚本里面内容:

7.2、直接调用点sh文件就能启动