大数据环境安装笔记kafka安装

大数据环境安装笔记kafka安装

• 系统环境：centos7 mininal

安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/

我是放到home目录里面的

解压：tar -zxvf /home/kafka_2.13-2.4.0.tgz

创建日志文件夹：mkdir kafa-2.4.0/datalogs（指定kafka缓存的文件夹和日志的文件夹

进入 kafka/config

然后修改server.properties配置文件

kafka是基于zookeeper的所以要先安装zookeeper，zookeeper的安装可以参考其他的博客

集群：192.168.1.121，192.168.1.122，192.168.1.123

                  zk                        zk                       zk

               kafka                    kafka                 kafka

集群的配置

修改server.properties只修改三项，其他根据需要配置

1. broker.id标识本机类似于zookeeper的myid
2. advertised.listeners=PLAINTEXT://your.host.name:9092
3. log.dirs是kafka接收消息存放路径
4. zookeeper.connect指定连接的zookeeper集群地址

进入配置文件vi config/server.propertites

找到broker.id=121

找到log.dirs=/home/kafka-2.4.0/datalogs

找到zookeeper.connect=192.168.1.121:2181,192.168.1.122:2181,192.168.1.123:2181

 

启动kafka：/home/kafka-2.4.0/bin/kafka-server-start.sh /home/kafka-2.4.0/config/server.properties  需要指定配置文件单个主机启动没有集群启动

报错：bin/kafka-run-class.sh 文件没找到java

找到kafka-run-class.sh中的javahome果然只有一个java

修改后

启动也没报错了

 

然后启动第二个节点又报错

在网上找了下资料说是日志文件的meta.properties的broker.id和server.properties的broker.id不一样。通过查看果然不一样我本机的，broker.id是122日志文件的broker.id是121.

再次尝试启动，启动成功

集群启动脚本编写

kafka没有提供集群启动的脚本，所以为了方便我们需要自己编写集群启动脚本如下：

1. #! /bin/bash
2. case $1 in
3. "start"){
4.         for i in zt01 zt02 yt03
5.         do
6.                 echo "*********$i**********"
7.                 ssh $i "/home/kafka-2.4.0/bin/kafka-server-start.sh -daemon /home/kafka-2.4.0/config/server.properties"
8.         done
9. };;
10. "stop"){
11.         for i in zt01 zt02 yt03
12.         do
13.                 echo "*********$i**********"
14.                 ssh $i "/home/kafka-2.4.0/bin/kafka-server-stop.sh"
15.         done
16. };;
17. esac