目录
1、KDC的安装及配置
1.1 安装KDC服务
yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation
配置KDC服务
vim /etc/krb5.conf
修改配置文件
/var/kerberos/krb5kdc/kadm5.acl、kdc.conf
创建Kerberos数据库
kdb5_util create –r FLINK.COM -s
创建Kerberos管理账号
kadmin.local
addprinc admin/admin\@FLINK.COM
exit
添加自启动服务
chkconfig –level 35 krb5kdc on
chkconfig –level 35 kadmin on
/etc/init.d/krb5kdc start
/etc/init.d/kadmin start
测试管理员账号
集群所有节点安装Kerberos客户端
yum install krb5-libs krb5-workstation
CM节点安装额外组件
yum -y install openldap-clients
拷贝配置文件
将KDC Server上的krb5.conf文件拷贝到所有Kerberos客户端(即集群所有节点)
scp /etc/krb5.conf flink-2:/etc
scp /etc/krb5.conf flink-3:/etc
1.2 CDH集群启用Kerberos
KDC添加Cloudera Manager管理员账号
kadmin.local
addprinc cloudera-scm/admin\@FLINK.COM
exit
配置启用Kerberos
进入Cloudera Manager的“管理”-> “安全”界面->启用Kerberos
检查信息
配置KDC信息
配置KDC类型、KDC服务器、KDC Realm、加密类型以及待创建的Service
Principal(hdfs,yarn,,hbase,hive等)的更新生命期等,点击“继续”我这里配置的是FLINK.COM
KRB5配置
不建议使用Cloudera Manager来管理krb5.conf,点击继续
输入CM的Kerberos账号
必须和之前创建的账号一致,点击“继续”,等待启用Kerberos完成,点击“继续”
Kerberos主体
重启集群
重启成功
参考网址:
CDH开启Kerberos是不包含kafka的,kafka开启kerberos需要额外配置
主机 à parcel
Kafka开启kerberos之后的生产者和消费者的使用
准备jaas.conf、consumer.properties、producer.properties文件
Jaas.conf
Consumer.properties
Producer.properties
配置环境变量
vim /etc/profile
export KAFKA_OPTS=-Djava.security.auth.login.config=/***/jaas.conf
source /etc/profile
使用命令:
消费者
/bin/kafka-console-consumer --bootstrap-server flink-1:9092,flink-2:9092,flink-3:9092 --topic canal_tsdb --consumer.config /flink-1/flink-1_kafka/key_user/consumer.properties
生产者
/bin/kafka-console-producer --broker-list flink-1:9092,flink-2:9092,flink-3:9092 --topic canal_tsdb --producer.config /flink-1/flink-1_kafka/key_user/producer.properties
查看Topic
/bin/kafka-topics --list --zookeeper flink-1:2181,flink-2:2181,flink-3:2181
创建Topic
/bin/kafka-topics --create --topic test --partitions 2 --replication-factor 2 --zookeeper flink-1:2181,flink-2:2181,flink-3:2181
删除Topic
/bin/kafka-topics --delete --topic test --zookeeper flink-1:2181,flink-2:2181,flink-3:2181