kafka多台多节点安装配置

kafka多台多节点安装配置

• 环境介绍：

三台Debian-8_系统（基本安装+SSH）

       JDK环境jdk-8u191-linux-x64

       zookeeper-3.4.10

       kafka_2.11-2.1.0

• Debian系统安装（略）
• 基础环境：
  • 修改主机名和DNS

vim /etc/hostname                                                        #修改主机名（重启生效）

vim /etc/hosts                                                                 #编辑DNS文件添加以下

       IP地址    主机名                                                     #添加三台主机对应的IP和名称

       IP地址    主机名

       IP地址    主机名

• JDK环境：（三台系统同操作）
  • 上传JDK包
  • 配置JDK

mkdir -p /usr/java                                                         #创建java存放目录

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java/          #解压jdk并存放到java目录

vim /etc/profile                                                              #编辑全局环境变量添加以下缩进处

export JAVA_HOME=/usr/java/jdk1.8.0_191    

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile                                                         #刷新环境变量

java -version                                                                #查看java是否成功

• 安装zookeeper（注：kafka强依赖zk，当然kafka包里有zk，但是不建议使用）（三台同操作）
  • 上传zookeeper-3.4.10.tar.gz
  • 安装配置zookeeper

mkdir -p /opt/hadoop/                                          #创建zookeeper存放目录

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/hadoop   #解压zookeeper

cd /opt/hadoop/zookeeper-3.4.10/conf/                 #进入zookeeper配置存放目录

mv zoo_sample.cfg zoo.cfg                                     #把配置文件改名

vim zoo.cfg                                                            #编辑配置文件（缩进处）

       dataDir=/home/hadoop/zkdata                #数据存放目录（topic/消费偏移信息/kafka集群信息）

       clientPort=2181                                               #端口

       server.1=主机名:2888:3888                              #在文件对话行添加即可

server.2=主机名:2888:3888

server.3=主机名:2888:3888

mkdir -p /home/hadoop/zkdata                               #创建文件存储目录

cd /home/hadoop/zkdata                                       #切换到文件存储目录

touch myid                                                            #创建空文件

echo “1” > /home/hadoop/zkdata/myid                 #添加文件内容1

echo “2” > /home/hadoop/zkdata/myid                 #此操作在服务器2

echo “3” > /home/hadoop/zkdata/myid                 #此操作在服务器3

vim /etc/profile                                                       #编辑全局环境变量添加以下缩进处

# Zookeeper Environment Variable

export ZOOKEEPER_HOME=/opt/hadoop/zookeeper-3.4.10

export PATH=$PATH:$ZOOKEEPER_HOME/bin

              source /etc/profile                                                  #刷新环境变量

zkServer.sh start                                                     #启动zookeeper

zkServer.sh stop                                                     #关闭zookeeper

• 安装kafka（三台同操作）

• 上传kafka_2.11-2.1.0.tgz
• 安装配置kafka

tar -zxvf kafka_2.11-2.1.0.tgz -C /opt/hadoop/       #解压kafka

cd /opt/hadoop/kafka_2.11-2.1.0/conf                    #进入kafka配置目录

vim server.properties                                                #编辑配置文件

broker.id=0                                              #broker的全局唯一标识（三台必须不同）

listeners=PLAINTEXT://9092                                    #监听

log.dirs=/home/hadoop/kafka-logs                 #日志目录

zookeeper.connect=xxx:2181, xxx:2181, xxx:2181     #配置zookeeper的连接（IP或主机名）

vim /etc/profile                                                       #添加环境变量

export KAFKA_HOME=/opt/hadoop/kafka_2.11-2.1.0

export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile                                                  #刷新全局环境变量

zkServer.sh status                                                   #查看zookeeper的状态

kafka-server-start.sh /opt/hadoop/kafka_2.11-2.1.0/config/server-properties

                                                                             #启动kafka

                                                                             #成功的标识信息

但是并不能保证Kafka已经启动成功，输入jps查看进程如果可以看到Kafka进程，表示启动成功

至此多台多节点kafka安装完成

参考：https://blog.csdn.net/hg_harvey/article/details/79174104