kafka集群部署

kafka集群部署

一、server三台，三节点

Server1  ip地址1
Server2  ip地址2
Server3  ip地址3

二、安装jdk

1、安装jdk

#解压jdk安装包到/usr/local目录下（安装包已经放在了同级软件包目录下）
#配置环境变量
vim /etc/profile
JAVA_HOME=/usr/local/jdk/
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH'

#刷新环境变量
source /etc/profile

三、安装zookeeper

#解压zookeeper软件包在部署目录下(三台都要修改)

/opt/server/zookeeper

#修改zookeeper配置文件(三台都要修改)

cd  /opt/server/zookeeper/conf
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
tickTime=4000
initLimit=10
syncLimit=5
forceSync=no
dataDir=/opt/server/zookeeper/data
clientPort=2181
minSessionTimeout=16000
maxSessionTimeout=30000
server.1=ip地址1:2888:3888
server.2=ip地址1:2888:3888
server.3=ip地址1:2888:3888

#创建myid文件(三台都要修改)

数据目录下面的myid 服务器互相对应起来
/opt/server/zookeeper/data
touch myid
vim myid
1服务器写入：1
2服务器写入：2
3服务器写入：3

#启动zookeeper

cd /opt/zookeeper/server/bin
./zkServer.sh start

四、安装kafka

#解压压缩包到/opt/server/kafka(安装包件目录下面软件包目录)

#修改kafka配置文件

server.properties（三台都要修改）

broker.id=1
listeners=PLAINTEXT://ip地址1:9092
advertised.listeners=PLAINTEXT://ip地址1:9092
log.dirs=/opt/data/kafka/
message.max.byte=5242880
log.cleaner.enable=true
log.retention.hours=72
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
num.partitions=3
delete.topic.enable=true
replica.fetch.max.bytes=5242880
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
default.replication.factor=3
zookeeper.connect=ip地址1:2181,ip地址2:2181,ip地址3:2181

#注意brokerid不能重复，建议和zookeeper保持一致即可

#启动各个节点的kafka即可

启动命令如下：

nohup ./kafka-server-start.sh   ../config/server.properties >/dev/null 2>&1 &