Kafka集群搭建 、 搭建kafka-eagle-web

最新领导要求整理kafka的搭建整理文档，特此整理如下：

一、Kafka集群搭建

1. 安装环境：

centos，jdk8，安装好的zookeeper环境，三台相同的机器作为节点

2下载、解压kafka，版本是kafka_2.11-1.1.0；

生产环境为：/hadoop/
测试环境下为：/home/

3.修改配置

进入kafka的安装目录下，修改配置文件server.properties即可。
cd kafka_2.11-1.1.0/config/
vim server.properties

其中在server.properties中关键配置项说明：
以下是比较重要的几项配置：

broker.id = 1 (三个节点配成不同的1,2,3)
host.name=hb2 (本机ip或者主机名)
listeners= PLAINTEXT://192.168.xx.xx:9092 (本机ip)
advertised.listeners=PLAINTEXT://192.168.xx.xx:9092
log.dirs=/data1/kafka-logs
zookeeper.connect= hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181 1 (之前安装的三个zk节点)
log.retention.hours=168 ##默认kafka中数据保存一周

完成之后，修改mastesr和slaves的主机名称之后，将所有的整个安装文件通过scp命令分发同步到其他集群节点中

4.启动停止kafka集群

单台启停：在/hadoop/
/hadoop/kafka_2.11-1.1.0/bin/目录下，使用
./bin/kafka-server-start.sh -daemon ./config/server.properties
单台启停：停止的时候，找到进程号。直接kill就行了

由于需要启动每一台机器的kafka节点服务，这里我配置了kafka集群一键脚本start_kafka_byfang.sh和stop_kafka_byfang.sh如下：

start_kafka_byfang.sh脚本

stop_kafka_byfang.sh脚本

（脚本具体路径在：/hadoop/kafka_2.11-1.1.0/bin/）
至此：kafka集群安装完成

二、搭建kafka-eagle-web

其中kafka-eagle是kafka的web-ui监控界面，用来使用可视化图形查看topic，分区数量等信息；

1.下载与解压

下载kafka_2.11-1.1.0.tgz压缩文件，然后使用tar -zxvf kafka_2.11-1.1.0.tgz 解压缩
下面开始安装kafka的web –ui，安装路径在/hadoop/下
下载解压kafka-eagle-web-1.2.4.tgz

2.修改配置：

更改配置文件/hadoop/kafka-eagle-web-1.2.4/conf/system-config.properties

只用更改以下重要配置项即可：

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181
kafka.eagle.sasl.client=/hadoop/kafka-eagle-web-1.2.4/conf/kafka_client_jaas.conf

#存储位置
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle-web-1.2.4/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=123456

3.启动停止

单机启动：./ke.sh start
单机停止：./ke.sh stop

然后就可以访问web： http://host:port/ke
登陆用户名：密码(默认，在server.properties修改)
kafka.eagle.username=root
kafka.eagle.password=123456
登陆成功之后如下图：

删除topic时候需要输入口令为：

# delete kafka topic token
kafka.eagle.topic.token=keadmin

---

参考的文章：
Kafka监控系统Kafka Eagle剖析
https://www.cnblogs.com/smartloli/p/9371904.html
Kafka集群监控工具之二–Kafka Eagle
https://www.cnblogs.com/cac2020/p/9717501.html