kafka单台多节点安装配置

kafka单台多节点安装配置

• 环境介绍：

一台Debian-8_系统（基本安装+SSH）

       JDK环境jdk-8u191-linux-x64

       zookeeper-3.4.10

       kafka_2.11-2.1.0

      

• Debian系统安装（略）
• JDK环境：
  • 上传JDK包
  • 配置JDK

mkdir -p /usr/java                                                         #创建java存放目录

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java/          #解压jdk并存放到java目录

vim /etc/profile                                                              #编辑全局环境变量添加以下缩进处

export JAVA_HOME=/usr/java/jdk1.8.0_191    

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile                                                         #刷新环境变量

java -version                                                                #查看java是否成功

• 安装zookeeper（注：kafka强依赖zk，当然kafka包里有zk，但是不建议使用）
  • 上传zookeeper-3.4.10.tar.gz
  • 安装配置zookeeper

mkdir -p /opt/hadoop/                                          #创建zookeeper存放目录

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/hadoop   #解压zookeeper

cd /opt/hadoop/zookeeper-3.4.10/conf/                 #进入zookeeper配置存放目录

mv zoo_sample.cfg zoo.cfg                                     #把配置文件改名

vim zoo.cfg                                                            #编辑配置文件（缩进处）

       dataDir=/home/hadoop/zkdata                #数据存放目录（topic/消费偏移信息/kafka集群信息）

       clientPort=2181                                               #端口

mkdir -p /home/hadoop/zkdata                               #创建文件存储目录

vim /etc/profile                                                       #编辑全局环境变量添加以下缩进处

# Zookeeper Environment Variable

export ZOOKEEPER_HOME=/opt/hadoop/zookeeper-3.4.10

export PATH=$PATH:$ZOOKEEPER_HOME/bin

              source /etc/profile                                                  #刷新环境变量

zkServer.sh start                                                     #启动zookeeper

zkServer.sh stop                                                     #关闭zookeeper

• 安装kafka（单台多节点：单个zookeeper多个kafka）

• 上传kafka_2.11-2.1.0.tgz
• 安装配置kafka

tar -zxvf kafka_2.11-2.1.0.tgz -C /opt/hadoop/       #解压kafka

cd /opt/hadoop/kafka_2.11-2.1.0/conf                    #进入kafka配置目录

vim server.properties                                                #编辑配置文件

broker.id=0                                                       #broker的全局唯一标识

listeners=PLAINTEXT://9092                                    #监听

log.dirs=/home/hadoop/kafka-logs                 #日志目录

zookeeper.connect=localhost:2181                   #配置zookeeper的连接（IP或主机名）

cp server.properties server-1.properties

cp server.properties server-2.properties

cp server.properties server-3.properties

修改server-1.properties文件

broker.id=1                                                     #broker的全局唯一编号，不能重复

listeners=PLAINTEXT://:9093                            #端口

log.dirs=/home/hadoop/kafka-logs-1             #日志目录

修改server-2.properties文件

broker.id=2                                                     #broker的全局唯一编号，不能重复

listeners=PLAINTEXT://:9094                            #端口

log.dirs=/home/hadoop/kafka-logs-2             #日志目录

修改server-3.properties文件

broker.id=3                                                     #broker的全局唯一编号，不能重复

listeners=PLAINTEXT://:9094                            #端口

log.dirs=/home/hadoop/kafka-logs-3             #日志目录

vim /etc/profile                                                       #添加环境变量

export KAFKA_HOME=/opt/hadoop/kafka_2.11-2.1.0

export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile                                                  #刷新全局环境变量

zkServer.sh status                                                   #查看zookeeper的状态

kafka-server-start.sh /opt/hadoop/kafka_2.11-2.1.0/config/server-1.properties

kafka-server-start.sh /opt/hadoop/kafka_2.11-2.1.0/config/server-2.properties

kafka-server-start.sh /opt/hadoop/kafka_2.11-2.1.0/config/server-3.properties

                                                                             #启动kafka

                                                                             #成功的标识信息

但是并不能保证Kafka已经启动成功，输入jps查看进程如果可以看到Kafka进程，表示启动成功

至此单台多节点kafka安装完成