kafka集群的搭建

首先要了解kafka的理论基本概念，否则看起来可能会读不懂的。建议先网上学习一下kafka基础知识。能看懂下面的图

集群的搭建-主要是kafka集群（broker） 与 zookeeper

注意：启动时要先启动zookeeper再启动broker（即kafka主机）（代理机器较多，写shell脚本一键启动）

关闭时先关闭broker 再关闭zookeeper

(上图右下角，0.9版本以后offset存储在本地意思是存储在kafka集群，可能是某个topic下面，所以查询命令也有所不同)

在服务器上安装kafka（官网下载源码包，解压即可）

接下来重点是修改 配置文件哦

（重头戏来了kafka/config/server.properties，说一下可能需要我们修改的参数）

broker.id 只能是整型数字，每个kafka服务器的id都不同。所以每个都要单独修改哦。

监听服务及端口

log.dirs 这个目录其实是存储的数据信息，不是kafka的日志文件！

数据保存时间

zookeeper.connect 配置zk信息，如果需配置多个用逗号分割。

配置修改好之后

想配置也可以配置一下环境变量。

分发安装包 xsync kafka/ (分发完以后去其它的服务器上修改配置文件里的broker.id)

接下来先启动zookeeper

启动命令：zk.sh start

查看一下kafka的命令都有哪些。进入kafka的bin目录。了解一下常用的就可以了。

启动命令（守护进程模式启动）：

kafka-server-start.sh -daemon config/server.properties

后面就是上面修改的配置文件（server.properties）

关闭命令：kafka-server-stop.sh stop

挨个启动太麻烦了，写个群起脚本吧，写法如下：

kafka 群起脚本：

#！/bin/bash

case $1 in

"start"){

for i in hadoop102 hadoop103 hadoop104

do

echo "***************$i****************"

ssh $i "/opt/module/kafka/bin/kafka-server-start.sh --daemon /opt/modele/kafka/config/server.properties"

done

};;

"stop"){

for i in hadoop102 hadoop103 hadoop104

do

echo "***************$i****************"

ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh"

done

};;

esac

 

保存为test.sh

chmod 777 test.sh (赋权限)

执行：

test.sh start

test.sh stop

博主准备以后一遍学习，一遍整理分享学习笔记，感兴趣的小伙伴扫码关注我的公众号吆。