linux 搭建kafka集群,超详细教程

搭建kafka集群，需要先搭建zookeeper集群，搭建zookeeper集群，依赖于jdk

1.下载安装jdk8

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

2.将jdk-8u231-linux-x64.tar.gz放到/usr/local下面

3.执行tar -zxvf jdk-8u231-linux-x64.tar.gz 解压安装包

4.vi /etc/profile 配置jdk

#jdk
export JAVA_HOME=/usr/local/jdk1.8.0
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.执行 source /etc/profile 使文件生效

6.下载zookeeper 

  这里可以看到最新的版本 https://zookeeper.apache.org/releases.html

  我使用的是3.6.1版本 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1.tar.gz

 下载的是源码版本，不要下载错了

7.将 apache-zookeeper-3.6.1.tar.gz 放到/usr/local下面

8. tar -zxvf apache-zookeeper-3.6.1.tar.gz 解压文件

9.mv apache-zookeeper-3.6.1 zookeeper-3.6.1 进行重命名

10.cd /zookeeper-3.6.1/conf

11. cp zoo_sample.cfg zoo.cfg复制一份配置文件并重命名zoo.cfg

12.vi zoo.cfg 

12.修改dataDir路径 dataDir=/usr/local/zookeeper-3.6.1/data 

13.添加三台服务器集群

    server.1=192.168.1.143:2888:3888
    server.2=192.168.1.139:2888:3888
    server.3=192.168.1.153:2888:3888

14.切换到 zookeeper-3.6.1 文件夹下

15. mkdir data 创建data目录

16.cd data 切换到data目录

17.vi myid 输入1 然后 保存

这个1对应的是server集群的1 其他两个文件的myid分别对应的是2和3

18.vi /etc/profile 配置zookeeper

#zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.6.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

19.保存 并执行source /etc/profile 使文件生效

20.到这里先不要启动，再按照上面的说明配置其他两台服务器

21.启动zookeeper命令  切换到bin目录 执行 shServer.sh start     

     日志启动命令 zkServer.sh start-foreground

      zkServer.sh status 看到一下内容即为集群成功 两台服务器是 follower  一台服务器是 leader

      

以上是zookeeper集群搭建，下面是kafka集群搭建

22.下载kafka   这里是中文官网地址 http://kafka.apachecn.org/

       这里是最新版本地址 http://kafka.apachecn.org/downloads.html

        下载的时候使用二进制文件，请勿使用源码src文件

      我使用的是2.11-1.0.0版本  下载地址是  https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz

23.将文件kafka_2.11-1.0.0.tgz放到  /user/local目录下

24. tar -zxvf kafka_2.11-1.0.0.tgz 解压文件

25.切换目录 cd /usr/local/kafka_2.11-1.0.0/config

26.编辑配置文件  vi server.properties

27.需要改动三个地方

      27.1 broker.id=1 和myid相对应 

      27.2 原来的listeners是被注释的，打开注释，修改成 只需替换自己服务器的ip即可 

              listeners=PLAINTEXT://192.168.1.153:9092 每台服务器使用各自的ip

27.3 原来的zookeeper.connect=localhost:2181是单机版的，我们搭建集群修改为自己的服务器ip，逗号分隔

          zookeeper.connect=192.168.1.143:2181,192.168.1.139:2181,192.168.1.153:2181 三台服务器使用相同的配置

28. vi /etc/profile 覆盖zookeeper配置 使用 

       

#zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.6.1

#kafka
export KAFKA_HOME=/usr/local/kafka_2.11-1.0.0

export PATH=$PATH:${KAFKA_HOME}/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

29.执行 source /etc/profile使文件生效

30.其他两台服务器使用相同配置 只需改动 broker.id 和 listeners 

31.使用 ./bin/kafka-server-start.sh -daemon config/server.properties 命令启动或者

     nohup /user/local/kafka_2.11-1.0.0/bin/kafka-server-start.sh /user/local/kafka_2.11-1.0.0/config/server.properties &

32.检查是否启动成功使用 ps -ef | grep kafka  显示一下内容即为启动成功

 

 

33.查看日志 切换到 日志目录 /usr/local/kafka_2.11-1.0.0/logs

 

步骤较多，按照步骤一步一步的走，搭建集群是完全OK的