storm-KafkaSpout接入Kerberous认证的kafka--排坑记

最新推荐文章于 2024-04-16 16:55:47 发布
最新推荐文章于 2024-04-16 16:55:47 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： # storm # 排坑 # kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/it_freshman/article/details/86289295
版权
storm 同时被 3 个专栏收录
11 篇文章 0 订阅
订阅专栏
kafka
8 篇文章 1 订阅
订阅专栏
排坑
3 篇文章 0 订阅
订阅专栏

Installing Kerberos on Redhat 7
Linux下搭建zookeeper+kafka+kerberos（基于centos7）
Kerberos常用命令总结
Storm Guide

服务器规划

  • s160：安装kerberos服务
  • s156: 安装kafka,zookeeper

kerberos服务安装

0.下载jce的jar包
下载地址：orcle-jce-8.jars
将zip解压，并将两个jar放置到%JAVA_HOME%/jre/lib/security目录下。

1.安装kerberos服务
yum install krb5-server krb5-libs krb5-auth-dialog

2.配置hosts文件
修改各机器上的hosts文件

192.168.129.160 kdc
192.168.129.156 kafka

3.配置kerberos配置文件
安装完kerberos之后，有两个配置文件。

  • /etc/krb5.conf: 配置realm name
  • /var/kerberos/krb5kdc/kdc.conf 配置domain-to-realm mappings，主机到域的映射。

接下来分别配置：

  • vi /var/kerberos/krb5kdc/kdc.conf
[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
### `BOP.COM` 可随意取，代表一个realm，可配置多个realm。
### 此处的`BOP.COM`必须和`/etc/krb5.conf`中配置的保持一致。
 BOP.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }
  • vi /etc/krb5.conf
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

###[logging]：表示server端的日志的打印位置
[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 
 ### ticket_lifetime表明凭证生效的时限，一般为24小时。
 ticket_lifetime = 24h
 
### renew_lifetime表明凭证最长可以被延期的时限，一般为一个礼拜。当凭证过期之后，对安全认证的服务的后续访问则会失败。
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = /etc/pki/tls/certs/ca-bundle.crt
 
 
 ### 默认的realm，必须跟要配置的realm的名称一致。
 default_realm = BOP.COM
 default_ccache_name = KEYRING:persistent:%{uid}


#禁止使用udp
udp_preference_limit = 1


[realms]
BOP.COM = {
 ### kdc：代表要kdc的位置。格式是 机器:端口
 kdc = kdc
 ### admin_server:代表admin的位置。格式是机器:端口
 admin_server = kdc
}

[domain_realm]
.bop.com = BOP.COM
bop.com = BOP.COM

4.初始化kerberos并启动

  • 创建database: 使用命令：kdb5_util create -s -r BOP.COM.

    • [s]: 表示stash file，并在其中存储master server key (krb5kdc);
    • [r] 指定一个realm name。当krb5.conf定义了多个realm时才是必要的。
      在创建过程中需要输入密码，此密码需要牢记.（密码是：bop）。
      当kerberos database创建好了之后，可以在/var/kerberos/krb5kdc目录下看到如下6个文件：
      在这里插入图片描述

  • 启动服务

systemctl start krb5kdc.service
systemctl start kadmin.service

  • 设置开机自启动

    systemctl enable krb5kdc.service
    systemctl enable kadmin.service

5.添加kerberos用户,并生成keytab文件

kadmin.local 
addprinc -randkey zookeeper/s156@BOP.COM
xst -k /etc/security/keytabs/s156_zookeeper.keytab zookeeper/s156@BOP.COM

addprinc -randkey kafka/s156@BOP.COM
xst -k /etc/security/keytabs/s156_kafka.keytab kafka/s156@BOP.COM

6.在kerberos服务器验证用户是否可用

kinit -kt /etc/security/keytabs/s156_zookeeper.keytab zookeeper/s156@BOP.COM
klist

kinit -kt /etc/security/keytabs/s156_kafka.keytab kafka/s156@BOP.COM
klist

在这里插入图片描述

此处可能会无法识别klist命令，
需要安装 ： yum -y install krb5-workstation

  • Default principal就是建立的用户，
  • Valid starting是认证开始时间
  • Expires是到期时间。

7.安装客户端
使用命令yum -y install krb5-workstation krb5-libs安装客户端，

  • 配置 /etc/krb5.conf
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = /etc/pki/tls/certs/ca-bundle.crt
 default_realm = BOP.COM
 default_ccache_name = KEYRING:persistent:%{uid}

 udp_preference_limit = 1

[realms]
 BOP.COM = {
  kdc = kdc
 }

[domain_realm]
 .example.com = BOP.COM
 example.com = BOP.COM

8.拷贝keytab文件至客户端并验证

  • 复制keytab
scp /etc/security/keytabs/s156_zookeeper.keytab root@s156:/etc/security/keytabs/s156_zookeeper.keytab 
scp /etc/security/keytabs/s156_kafka.keytab root@s156:/etc/security/keytabs/s156_kafka.keytab
  • 验证 ：(注意keytab文件的权限，保险起见chomd 777)
##客户端验证
klist -ke xxx.keytab

Zookeeper

1.zoo.cfg
zoo.cfg添加配置信息：

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

2.新增配置文件:zoo_jaas
在`${ZK_HOME}\conf``目录下新增该配置文件：

Server{
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    useTicketCache=false
    keyTab="/etc/security/keytabs/s156_zookeeper.keytab"
    principal="zookeeper/s156@BOP.COM";
};

Client{
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    useTicketCache=false
    keyTab="/etc/security/keytabs/s156_zookeeper.keytab"
    principal="zookeeper/s156@BOP.COM";
};

3.设置jvm环境变量
在/zookeeper/conf/ 目录创建 java.env，

export JVMFLAGS="-Djava.security.auth.login.config=/home/kk/zookeeper-3.4.12/conf/zoo_jaas.conf"

export CLIENT_JVMFLAGS="-Djava.security.auth.login.config=/home/kk/zookeeper-3.4.12/conf/zoo_jaas.conf"

4.启动命令
./zkServer.sh start …/conf/zoo.cfg

Kafka

1.添加kafka_jaas.conf
在${KAFKA_HOME}/conf目录下添加该名称文件：

KafkaServer {
	com.sun.security.auth.module.Krb5LoginModule required
	useKeyTab=true
	storeKey=true
	useTicketCache=false
	serviceName="kafka"
	keyTab="/etc/security/keytabs/s156_kafka.keytab"
  principal="kafka/s156@BOP.COM";
};

KafkaClient  {
	com.sun.security.auth.module.Krb5LoginModule required
	useKeyTab=true
	storeKey=true
	useTicketCache=false
	serviceName="kafka"
	keyTab="/etc/security/keytabs/s156_kafka.keytab"
  principal="kafka/s156@BOP.COM";
};

Client {
	com.sun.security.auth.module.Krb5LoginModule required
	useKeyTab=true
	storeKey=true
	useTicketCache=false
	keyTab="/etc/security/keytabs/s156_zookeeper.keytab"
  principal="zookeeper/s156@BOP.COM";
};

其中Client为zookeeper的配置。

2.修改server.properties

listeners=SASL_PLAINTEXT://slave1:9092
advertised.listeners=SASL_PLAINTEXT://slave1:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
isasl.enabled.mechanisms=GSSAPI
#principal.to.local.class=kafka.security.auth.KerberosPrincipalToLocal

sasl.kerberos.service.name=kafka

3.修改kafka-run-class.sh，添加jvm参数
在文件的最末尾部分，进行修改：

KAFKA_SASL_OPTS='-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/home/kk/kafka_2.11-0.10.2.0/config/kafka_jaas.conf'

if [ "x$DAEMON_MODE" = "xtrue" ]; then
  nohup $JAVA $KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_SASL_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS -cp $CLASSPATH $KAFKA_OPTS "$@" > "$CONSOLE_OUTPUT_FILE" 2>&1 < /dev/null &
else
  exec $JAVA $KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS -cp $CLASSPATH $KAFKA_OPTS $KAFKA_SASL_OPTS "$@"
fi

4.修改 producer.properties和consumer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

5.使用命令

./kafka-console-producer.sh --broker-list s156:9092 --topic test --producer.config ../config/producer.properties
./kafka-console-consumer.sh --bootstrap-server s156:9092 --topic test --new-consume r --from-beginning --consumer.config ../config/consumer.properties

storm 配置 (最坑的部分)

storm部分，参照storm-kafka-kerberos 这部分代码。
在这里插入图片描述

最重要部分：

  • storm无需修改storm.yaml
  • 需要在${STORM_HOME}/conf下添加storm_jaas.conf文件(很多地方没有提到这一点，这个问题卡住n久)：
KafkaClient  {
	com.sun.security.auth.module.Krb5LoginModule required
	useKeyTab=true
	storeKey=true
	useTicketCache=false
	serviceName="kafka"
	keyTab="/etc/security/keytabs/s156_kafka.keytab"
  principal="kafka/s156@BOP.COM";
};

测试可用.

Kerberos常用命令

说明命令
进入kadminkadmin.local/kadmin
创建数据库kdb5_util create -r BOP.COM -s
启动kdc服务service krb5kdc start
启动kadmin服务service kadmin start
修改当前密码kpasswd
测试keytab可用性kinit -k -t /etc/security/keytabs/zookeeper.keytab zookeeper/kdc@BOP.COM
查看keytabklist -e -k -t /etc/krb5.keytab
清除缓存kdestroy
通过keytab文件认证登录kinit -kt /var/run/cloudera-scm-agent/process/***-HIVESERVER2/hive.keytab hive/node2
kadmin模式下：
生成随机key的principaladdprinc -randkey zookeeper/kdc@BOP.COM
生成指定key的principaladdprinc -pw *** zookeeper/kdc@BOP.COM
查看principallistprincs
修改admin/admin的密码cpw -pw xxxx admin/admin
添加/删除principleaddprinc/delprinc admin/admin
直接生成到keytabktadd -k /etc/krb5.keytab host/kdc@BOP.COM
设置密码策略(policy)addpol -maxlife “90 days” -minlife “75 days” -minlength 8 -minclasses 3 -maxfailure 10 -history 10 user
添加带有密码策略的用户addprinc -policy user hello/kdc@BOP.COM
修改用户的密码策略modprinc -policy user hello/kdc@BOP.COM
删除密码策略delpol [-force] user
修改密码策略modpol -maxlife “90 days” -minlife “75 days” -minlength 8 -minclasses 3 -maxfailure 10 user
伊布拉西莫
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
storm 2.1.0 读取采用kerberos认证方式的kafka 2.2.1的实践
emon_lee的专栏
04-19 1275
网上搜到的相关文章都是特别旧且没有参考价值的，自己试验了半天，终于成功，分享经验如下： 1.storm2.1.0读取采用kerberos认证方式的kafka 2.2.1时，最常遇到的问题在kafkaSpout中使用System.setProperty来指定krb5.conf和jaas.conf文件的路径后，程序一运行就报找不到配置文件。而这种问题往往出现在程序运行在storm集群时，在本地运行时...
【kafka开启kerberos认证-服务端和客户端的交互过程】
weixin_44435562的博客
11-14 310
kafka对接kerberos组件实现客户端用户身份认证，则该认证流程是怎样的？接下来做简要分析。。。以上内容主要介绍了当kafka开启kerberos认证之后，客户端与服务端是如何交互的。
安全认证Kerberos详解
最新发布
Shawn的个人博客
04-16 1157
Kerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。
hdp-storm的kafka kerberos认证
weixin_34342992的博客
09-05 210
2019独角兽企业重金招聘Python工程师标准>>> ...
kafka client使用kerberos
weixin_34034261的博客
11-29 1084
2019独角兽企业重金招聘Python工程师标准>>> ...
Storm集群安装Version1.0.1开启Kerberos
木木与呆呆的专栏
01-16 443
Storm集群安装，基于版本1.0.1， 同时开启Kerberos安全认证， 使用apache-storm-1.0.1.tar.gz安装包。 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 UI, nimbus zdh-237 storm core,nimbus supervisor zdh-238 storm supervisor,worker,Log...
kafka+storm连接
weixin_30471561的博客
04-21 262
本项目为maven项目，需要添加必要的storm库，以及kafka依赖，使用storm自带的storm-kafka进行连接，根据自己集群环境 <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> ...
kerberos环境storm配置：Running Apache Storm Securely
weixin_30512785的博客
03-26 272
Running Apache Storm Securely Apache Storm offers a range of configuration options when trying to secure your cluster. By default all authentication and authorization is disabled but can be tur...
Kerberos之后 storm UI
dingweijson的博客
05-31 414
storm /usr/hdp/current/storm-nimbus/contrib/storm-jmxetric/   报错无法打开jar包解决方法：   把附件中storm-jmxetric包替换原来的即可     解决集群开启Kerberos之后 storm UI在本地无法打开的问题   1.使用火狐浏览器打开   2.在服务器端打开初始化keytab    kin...
单点登录系统构建之一——基础知识（Kerberous/SAML）
a1752807634的博客
04-29 628
http://web.mit.edu/kerberos/ Kerberos Kerberous是一个网络身份验证协议，它被设计为客户端/服务器提供基于密钥的强加密机制。该协议最初由MIT实现并被广泛商用。 互联网不是安全的，很多互联网协议并不提供安全性保证，网络上经常有“嗅探”密码的行为，因此在网络上发送未加密密码的行为是非常危险的。 有些网站视图通过防火墙或者定义不同的防火墙规...
kerberos详解
SkyChaserYu的博客
03-16 3389
kerberos介绍 1、重要术语 1. KDC 全称：key distributed center 作用：整个安全认证过程的票据生成管理服务，其中包含两个服务，AS和TGS 2. AS 全称：authentication service 作用：为client生成TGT的服务 3.TGS 全称：ticket granting service 作用：为client生成某个服务的...
Storm-Kafka之LocalCluster模式下KafkaSpout重复消费(原因是local模式读不到集群的yaml配置文件)
u012501054的博客
01-11 785
问题描述: 通过LocalCluster提交storm KafkaSpout的应用,每次重新提交应用时,消息都会重复消费,而且在zookeeper中不能创建存储节点. 日志中一直出现KeeperErrorCode = NoNode for 节点path. 从网上查看: 1. 大多都是bolt需要继承BaseBasicBolt,也就是说可能没有ack. 2.SpoutConfig构造中id...
storm 连接带sasl的kafka
Ronnie的专栏
08-21 1201
弄了3天，终于折腾对了。我的环境是ambari装的kafka和storm， HDP-2.6 HDP-2.6 STANDARD 2.6.3.0-235 kafka:0.10.1 storm:1.1.0 只给kafka配置了SASL_PLAINTEXT 先上代码。 package example; import java.util.Properties; impo...
【转】谈谈基于Kerberos的Windows Network Authentication
cheran的专栏
12-13 1105
http://www.cnblogs.com/artech/archive/2007/07/07/809545.html Content： 基本原理 引入Key Distribution: KServer-Client从何而来 引入Authenticator : 为有效的证明自己提供证据 引入Ticket Granting  Service：如何获得Ticket Kerbe
浅析Kerberos原理，及其应用和管理
weixin_30577801的博客
03-12 883
文章作者：luxianghao 文章来源：http://www.cnblogs.com/luxianghao/p/5269739.html 转载请注明，谢谢合作。 免责声明：文章内容仅代表个人观点，如有不当，欢迎指正。 --- 一，引言 　　Kerberos简单来说就是一个用于安全认证第三方协议，它采用了传统的共享密钥的方式，实现了在网络环境不一定保证安全的环...
zookeeper配置kerberos
m0_37911384的博客
05-21 2731
zookeeper配置kerberos 前提：安装好zookeeper和kerberos 步骤： 1、创建kerberos用户 kadmin.local addprinc zookeeper/es1 //es1主机名 2、生成zookeeper认证用户keytab kadmin.local -q "xst -k /usr/local/zookeeper/key...
Java连接Kerberos认证的Kafak
WZY_snail的博客
04-13 7020
Java连接Kerberos认证的Kafak Java：甲。Kafka:乙。 一、一般需要三个文件。xxx.keytab ，xxkrb5.conf , 创建的 jaas.conf。 1、连谁让谁提供 xxx.keytab文件，进行身份验证（该文件由乙提供）。 2、添加krb5.conf文件，可直接从kdc所在服务器复制或让（内容由乙提供）。 #配置片段也可以放在此目录中 /etc/kr...
Kerberos原理和工作机制
热门推荐
lovebomei的博客
04-19 1万+
1.Kerberos原理和工作机制 概述：Kerberos的工作围绕着票据展开，票据类似于人的驾驶证，驾驶证标识了人的信息，以及其可以驾驶的车辆等级。 1.1 客户机初始验证 1.2获取对服务的访问 2.kerberos中的几个概念 2.1 KDC：密钥分发中心，负责管理发放票据，记录授权。 2.2 域：kerberos管理领域的标识。 2.3 princip...
kafka+storm集成并运行demo-单机
linux_ja的专栏
12-13 5691
1,安装环境jdk1.7，kafka_2.9.2-0.8.1.1.tgz ，zookeeper-3.3.6.tar.gz，apache-storm-0.9.2-incubating.tar.gz 2，安装kafka: I,配置kafka/conf/server.properties # The id of the broker. This must be set to a unique i
Kerberos原理
huyuleizj的博客
03-08 1533
转载自： Yx.Ac 文章来源： 勇幸|Thinking ( http://www.ahathinking.com )  。 --- 前些日子为了搞清楚Kerberos原理，把 MIT的Kerberos经典对话 看了几遍，终于有了一个稍微清晰的认识，这里稍微记录下，因为Kerberos是使用传统加密技术实现的一个认证机制，所以顺便备忘下关于加密的一些知识概念。本文组织如下：

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值