kafka-集群部署

一、基础环境

主机名	IP地址
master	192.168.10.15
slave1	192.168.10.16
slave2	192.168.10.17

1、安装JDK

mkdir -p /usr/java
cd /usr/java/
将JDK包上传到/usr/java/目录下
解压：tar -zxvf jdk包

配置变量环境
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181
export JRE_HOME=/usr/java/jdk1.8.0_181/jre 
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 

刷新
source /etc/profile

检查是否完成
javac -version

二、部署环境

1、安装zookeeper

mkdir -p /opt/zookeeper
cd /opt/zookeeper
将zookeeper包上传到/opt/zookeeper目录下
tar  -zxvf zookeeper包
cd  /opt/zookeeper/zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg 

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/fesh/data/zookeeper
# the port at which the clients will connect
clientPort=2181 #对client端提供服务
 
　server.1=master:2888:3888
　server.2=slave1:2888:3888
　server.3=slave2:2888:3888
2888：选举leader使用
3888：集群内机器通讯使用（leader监听此端口）

2、设置myid

• 在节点配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机。
• zoo.cfg文件中配置的server.X,则myid文件中就输入这个数字X

mkdir -p /data/zookeeper
cd /data/zookeeper
touch myid
echo "1" > myid

3、安装kafka

mkdir -p /opt/kafka/
cd /opt/kafka/
将kafka包上传/opt/kafka目录下
解压：tar -zxvf kafka包

修改相关的配置文件
cd /opt/kafka/kafka_2.11/config
vim server.properties
#1.broker.id，kafka服务器id，如果是分布式环境则需要修改broker.id的编号不能相同，为分布式只有一个worker，因此不用修改
#2.listeners，该配置为第三方软件连接kafka的路径地址
listeners=PLAINTEXT://192.168.10.15:9092
#3.log.dirs，该配置为kafka数据的存储位置，程序启动后会自行生成
log.dirs=/opt/kafka/kafka_2.11/datas
#4.zookeeper.connect，改配置为zookeeper的地址
zookeeper.connect=192.168.10.15:2181			//注意更改自己的ip地址

3.1 添加环境变量

#进入 /etc/profile 文件，并添加配置
vim /etc/profile
==>（添加信息）
export KAFKA_HOME=/opt/kafka/kafka_2.11          //注意修改为你的kafka的安装地址
export PATH=$PATH:$KAFKA_HOME/bin

4、开启服务

#1.启动zookeeper
zkServer.sh start
#2.启动kafka命令
kafka-server-start.sh /opt/kafka/kafka_2.11 /config/server.properties		//启动命令需加载server.properties文件