准备工作
先从官网上下载好该版本的安装包,并上传到集群中任意一台主机(我上传到了master上)
1 安装配置
1.1 解压
我是放到 /usr/hadoop 目录下的,解压之后会多出来一个 kafka_2.11-0.10.1.0 的目录
1.2 配置环境变量
在 /etc/profile 中添加如下配置
使环境变量生效
[root@master hadoop]# source /etc/profile
[root@master hadoop]#
1.3 发送到集群中其他节点
这时候把我们的 /etc/profile 发送到 slave1、slave2 节点上:
[root@master hadoop]# scp /etc/profile root@slave1:/etc/
...
[root@master hadoop]# scp /etc/profile root@slave2:/etc/
...
发送 kafka 整个文件夹到 slave1、slave2 节点上:
[root@master hadoop]# scp -r kafka_2.11-0.10.1.0 root@slave1:/usr/hadoop
...
[root@master hadoop]# scp -r kafka_2.11-0.10.1.0 root@slave2:/usr/hadoop
...
1.4 配置 server.properties
其实单节点的 kafka 是不用修改这个文件的,直接仿照官网的介绍就可以了,但是我们搭建的是一个集群。这里的配置文件需要修改,有三四处吧。
1.4.1 打开监听端口
############################# Socket Server Settings #############################
# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
# FORMAT:
# listeners = security_protocol://host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://:9092 # 取消这一行的注释
1.4.2 修改 zookeeper.connect
############################# Zookeeper #############################
# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=master:2181,slave1:2181,slave2:2181 # 修改成为我们搭建的zookeeper集群
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000