安装Kafka Eagle对具有kerberos认证的kafka集群进行监控

一、kafka Eagle的知识点

1.kafka Eagle的介绍：

kafka Eagle监控系统的目标是做一个部署简单，开发容易，使用方便的kafka消息监控系统。

2.下载kafka Eagle安装包的链接为：

下载地址：http://download.smartloli.org/

3.下载kafka Eagle 源代码的链接为：

https://github.com/smartloli/kafka-eagle
如果下载了源代码后，需要进行编译一下：
在编译Kafka Eagle源代码之前，需要在本地开发环境中准备好你的Maven环境

步骤1：下载Maven安装包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz

步骤2：解压Maven安装包

tar -zxvf apache-maven-3.6.1-bin.tar.gz

步骤3：重命名并移动到指定位置

mv apache-maven-3.6.1 /usr/local/maven

步骤4：配置Maven环境编辑

vim /etc/profile

export M2_HOME=/usr/local/maven
export PATH=$PATH:$M2_HOME/bin

步骤5：执行source命令让环境变量立即生效

source /etc/profile

步骤6：验证Maven是否安装成功

mvn -v

如果能打印Maven版本信息，则安装成功

然后，进入到Kafka Eagle源代码根目录，在根目录中有一个build.sh的脚本，执行该脚本进行源代码编译。编译成功后，控制台会打印BUILD SUCESS.

二、 Kafka Eagle的安装

安装Kafka Eagle的前提条件是安装jdk,建议安装jdk1.8，安装jdk的原因是：Kafka Eagle监控系统核心模块采用java编程语言实现，在启动Kafka Eagle 监控系统需要依赖Java运行环境（JDK）。

1.下载安装包和建立软连接

mkdir  -pv /home/kafka-eagle && cd /home/kafka-eagle
wget https://github.com/smartloli/kafka-eagle-bin/archive/v1.2.0.tar.gz
解压
tar -zxf v1.2.0.tar.gz
切换到kafka-eagle-bin-1.2.0的目录下：
tar -zxf kafka-eagle-bin-1.2.0/kafka-eagle-web-1.2.0-bin.tar.gz -C /home/export/soft/
创建软连接
ln -s /home/kafka-eagle/kafka-eagle-web-1.2.0/ /home/export/soft/kafka-eagle

2.给Kafka Eagle配置环境变量

vim /etc/profile
#ADD kafka-Eagle path by zlm
export KE_HOME=/home/export/soft/kafka-eagle
export PATH=$PATH:$KE_HOME/bin
对环境配置进行生效一下
source  /etc/profile
给启动脚本附上执行权限
chmod +x /home/export/soft/kafka-eagle/bin/ -R 

3.在mysql中创建一个kafka的数据库：

执行命令如下：
mysql -uroot -p密码
mysql>create database kafka DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql>grant ALL PRIVILEGES on kafka.* to kafka@'%'  identified by "111111";
mysql>flush privileges;

4.修改/home/export/soft/kafka-eagle/conf/system-config.properties

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=node01:2181,node02:2181,node03:2181/kafka

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
kafka.eagle.offset.storage=kafka

######################################
# alarm email configure
######################################
kafka.eagle.mail.enable=false
kafka.eagle.mail.sa=alert_sa
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbg
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

#如果kafka的集群具有kerberos认证的，需要kafka.eagle.sasl.enable的设置为true,默认为false
#同时也要修改kafka.eagle.sasl.protocol和kafka.eagle.sasl.mechanism的值，分别为SASL_PLAINTEXT和GSSAPI
######################################
# kafka sasl authenticate
######################################
kafka.eagle.sasl.enable=true
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=GSSAPI
kafka.eagle.sasl.client=/home/export/soft/kafka-eagle/conf/kafka_client_jaas.conf

#需要配置mysql的信息
######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node01:3306/kafka?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=kafka
kafka.eagle.password=111111

4.编辑/home/export/soft/kafka-eagle/conf/kafka_client_jaas.conf的信息

内容如下：

KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName=kafka
keyTab="/home/export/soft/kafka-eagle/conf/kafka.keytab"
principal="kafka@HADOOP.COM";
};

Client {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName=kafka
keyTab="/home/export/soft/kafka-eagle/conf/kafka.keytab"
principal="kafka@HADOOP.COM";
};

kafka.keytab是kafka的超级用户生成的keytab文件
记得把生成的keytab文件拷贝到/home/export/soft/kafka-eagle/conf目录下
principal的值改成你自己的值

5、启动Kafka监控系统

/home/export/soft/kafka-eagle/ke.sh start

6.访问kafka eagle的webUI服务（用户名：admin，密码：123456）

访问链接为：kafka eagle的节点ip:8048/ke
例如我的访问链接为：http://172.16.6.100:8048/ke/
输入用户为：admin
密码为：123456
其他的页面的操作可以参考：https://www.cnblogs.com/yinzhengjie/p/9957389.html