两个cdh集群配置kerberos互通

最新推荐文章于 2023-08-02 16:39:52 发布
最新推荐文章于 2023-08-02 16:39:52 发布
阅读量1.2k 收藏 1
点赞数
文章标签： CDH kerberos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37684481/article/details/92831911
版权

1 配置KDC之间的信任ticket

两个域分别登录kadmin.local，分别执行下面的语句创建principal

kadmin.local:  addprinc -e "aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal" krbtgt/HADOOP.COM@CMSERVER.COM

WARNING: no policy specified for krbtgt/HADOOP.COM@CMSERVER.COM; defaulting to no policy

Enter password for principal "krbtgt/HADOOP.COM@CMSERVER.COM":  admin
Re-enter password for principal "krbtgt/HADOOP.COM@CMSERVER.COM":  admin
Principal "krbtgt/HADOOP.COM@CMSERVER.COM" created.

kadmin.local:  addprinc -e "aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal" krbtgt/CMSERVER.COM@HADOOP.COM

WARNING: no policy specified for krbtgt/CMSERVER.COM@HADOOP.COM; defaulting to no policy

Enter password for principal "krbtgt/CMSERVER.COM@HADOOP.COM":  admin
Re-enter password for principal "krbtgt/CMSERVER.COM@HADOOP.COM":  admin
Principal "krbtgt/CMSERVER.COM@HADOOP.COM" created.

验证两个entries具有匹配的kvno和加密type，查看命令使用getprinc <principal_name>


```powershell
kadmin.local:  getprinc krbtgt/CMSERVER.COM@HADOOP.COM

Principal: krbtgt/CMSERVER.COM@HADOOP.COM
Expiration date: [never]
Last password change: Wed May 15 09:00:25 CST 2019
Password expiration date: [none]
Maximum ticket life: 1 day 00:00:00
Maximum renewable life: 0 days 00:00:00
Last modified: Wed May 15 09:00:25 CST 2019 (hbase/admin@CMSERVER.COM)
Last successful authentication: [never]
Last failed authentication: [never]
Failed password attempts: 0
Number of keys: 6
Key: vno 1, aes256-cts-hmac-sha1-96, no salt
Key: vno 1, aes128-cts-hmac-sha1-96, no salt
Key: vno 1, des3-cbc-sha1, no salt
Key: vno 1, arcfour-hmac, no salt
Key: vno 1, des-hmac-sha1, no salt
Key: vno 1, des-cbc-md5, no salt
MKey: vno 1
Attributes:
Policy: [none]

kadmin.local:  getprinc krbtgt/HADOOP.COM@CMSERVER.COM

Principal: krbtgt/HADOOP.COM@CMSERVER.COM
Expiration date: [never]
Last password change: Wed May 15 08:59:37 CST 2019
Password expiration date: [none]
Maximum ticket life: 1 day 00:00:00
Maximum renewable life: 0 days 00:00:00
Last modified: Wed May 15 08:59:37 CST 2019 (hbase/admin@CMSERVER.COM)
Last successful authentication: [never]
Last failed authentication: [never]
Failed password attempts: 0
Number of keys: 6
Key: vno 1, aes256-cts-hmac-sha1-96, no salt
Key: vno 1, aes128-cts-hmac-sha1-96, no salt
Key: vno 1, des3-cbc-sha1, no salt
Key: vno 1, arcfour-hmac, no salt
Key: vno 1, des-hmac-sha1, no salt
Key: vno 1, des-cbc-md5, no salt
MKey: vno 1
Attributes:
Policy: [none]


## 2 在core-site中配置principal和user的映射RULES

分别在两个hdfs配置文件中添加受信任的kerberos领域
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619150913385.png)
设置hadoop.security.auth_to_local参数，该参数用于将principal转变为user，一个需要注意的问题是SASL RPC客户端需要远程Server的Kerberos principal在本身的配置中匹配该principal。相同的pricipal name需要分配给源和目标cluster的服务，例如Source Cluster中的NameNode的kerbeors principal name为nn/h@CMSERVER.COM，在Destination cluster中NameNode的pricipal设置为nn/h@HADOOP.COM（不能设置为nn2/h***@HADOOP.COM），例如：
在CMSERVER Cluster和 HADOOP Cluster的core-site中增加：
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619150942266.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Njg0NDgx,size_16,color_FFFFFF,t_70)

使用hadoop org.apache.hadoop.security.HadoopKerberosName <principal-name>来实现验证，例如:

hadoop org.apache.hadoop.security.HadoopKerberosName hdfs/linux1@CMSERVER.COM
Name: hdfs/linux1@CMSERVER.COM to hdfs

## 3 在krb5.conf中配置信任关系

**3.1 配置capaths**
第一种方式是配置shared hierarchy of names，这个是默认及比较简单的方式，第二种方式是在krb5.conf文件中改变capaths，复杂但是比较灵活，这里采用第二种方式。
在两个集群的节点的/etc/krb5.conf文件配置domain和realm的映射关系，例如：在CMSERVER cluster中配置：

**3.2 配置realms**
3.3 配置domain_realm
192.168.0.201的/etc/krb5.conf具体配置为

[libdefaults]
default_realm = CMSERVER.COM
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 86400
renew_lifetime = 604800
forwardable = true
default_tgs_enctypes = rc4-hmac
default_tkt_enctypes = rc4-hmac
permitted_enctypes = rc4-hmac
udp_preference_limit = 1
kdc_timeout = 3000

[realms]
CMSERVER.COM = {
kdc = linux1
admin_server = linux1
default_domain = CMSERVER.COM
}
HADOOP.COM = {
kdc = linux5
admin_server = linux5
default_domain = HADOOP.COM
}

[domain_realm]
linux1 = CMSERVER.COM
linux3 = HADOOP.COM
linux4 = HADOOP.COM
linux5 = HADOOP.COM
linux6 = HADOOP.COM

[capaths]
CMSERVER.COM = {
HADOOP.COM = .
}
192.168.0.203, 192.168.0.204, 192.168.0.205, 192.168.0.206的配置为
[libdefaults]
default_realm = HADOOP.COM
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 86400
renew_lifetime = 604800
forwardable = true
default_tgs_enctypes = rc4-hmac
default_tkt_enctypes = rc4-hmac
permitted_enctypes = rc4-hmac
udp_preference_limit = 1
kdc_timeout = 3000

[realms]
CMSERVER.COM = {
kdc = linux1
admin_server = linux1
default_domain = CMSERVER.COM
}
HADOOP.COM = {
kdc = linux5
admin_server = linux5
default_domain = HADOOP.COM
}

[domain_realm]
linux1 = CMSERVER.COM
linux3 = HADOOP.COM
linux4 = HADOOP.COM
linux5 = HADOOP.COM
linux6 = HADOOP.COM

[capaths]
HADOOP.COM = {
CMSERVER.COM = .
}
3.4 配置hdfs-site.xml
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619150959566.png)
这个是客户端的匹配规则用于控制允许的认证realms，如果该参数不配置，会有下面的异常：

java.io.IOException: Failed on local exception: java.io.IOException:
java.lang.IllegalArgumentException:
       Server has invalid Kerberosprincipal:nn/ HADOOP.COM@ XDF.COM;
       Host Details : local host is: "host1.XDF.COM/10.181.22.130";
                        destination host is: "host2.HADOOP.COM":8020;

## 4 配置生效

4.1在cloudera manager监控页面关闭集群
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619151010902.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Njg0NDgx,size_16,color_FFFFFF,t_70)
 

关闭监控页面
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619151016580.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Njg0NDgx,size_16,color_FFFFFF,t_70)
4.2重新生成keytab
在上方导航栏点击管理-安全-kerberos凭据
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619151023626.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Njg0NDgx,size_16,color_FFFFFF,t_70)
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619151030241.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Njg0NDgx,size_16,color_FFFFFF,t_70)


全选-重新生成所选项
 
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190619151035730.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Njg0NDgx,size_16,color_FFFFFF,t_70)

生成完成后启动服务器
卡拉没
关注
在 CDH 集群启用 Kerberos认证
jaysen1005的博客
03-04 1153
Kerberos原理介绍 kerberos主要是用来做网络通信时候的身份认证，最主要的特点就是“复杂”。所以在入坑kerberos之前，最好先熟悉一下其原理。这里推荐一些别人写的文章内容来进行简单汇总： 1.链接： kerberos认证原理 用对话场景来解释kerbeors的设计过程 Kerberos的组件和术语(翻译和注解) 2.Kerberos认证流程： KDC...
cdh集群集成kerberos
朱登凯的专栏
06-27 1415
为什么需要kerberos cdh集群搭建好以后，你可能已经成功地入坑了，因为后面还有很多问题，例如，数据安全的问题等。当你的cdh集群搭建好以后，你会发现他是没有任何权限控制的，所有人只要能够访问到你的ip和端口，就能使用你的服务。并且，你的hdfs中的数据更是毫无安全可言，只需要在一个客户端电脑上的hadoop fs命令前面加上sudo -u hdfs，就能够拥有最高权限因为谁都可以是hdf...
配置两个不同kerberos认证中心的集群间的互信
weixin_30894583的博客
09-11 1720
两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。先决条件：1）两个集群(XDF.COM和HADOOP.COM)均开启Kerberos认证2）Kerberos的REALM分别设置为X...
配置两个Hadoop集群Kerberos认证跨域互信
Mrerlou的博客
06-29 1269
两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务)。先决条件：1)两个集群(IDC.COM和HADOOP.COM)均开启Kerberos认证2)Kerberos的REALM分别...
cdh集群认证命令
weixin_30711917的博客
01-07 231
1.集群认证命令 kinit -kt csliyb.keytab csliyb 2.查看认证有效期命令 klist命令 3.延长认证有效期命令 kinit -R 4.手动认证失效命令 kdestroy 转载于:https://www.cnblogs.com/liyanbin/p/10233503.html...
kerberos 合并keytab文件 ktutil
xiajinqian的博客
02-08 1835
kerberos 合并keytab文件 ktutil 交互式 非交互式
CDH集群间数据同步 distcp
ace1832的博客
05-27 1087
首先要确定两个集群的namenode（活动），可以登录cm-集群-hdfs-实例查看，确定namenode后再确定相应端口，可以在cm中hdfs主机-资源界面查看（一般为8020），确定完两个集群的参数后再确定下面的配置 1、两个集群的所有节点都互通/etc/hosts文件（可选，没有配置hosts可以使用ip） 2、数据源集群主节点到老集群各个节点的ssh免密登陆 3、两个集群版本是否一致 4、运行命令的用户有目标集群仓库目录的权限 cdh版本相同使用命令hadoop distcp hdfs://i.
集群间配置kerberos互信
qq_36864672的博客
02-01 2240
本文档讲述通过配置tdh集群和tos集群某个租户两者间guardian互信，用户可以在两个集群登录操作hdfs，运用distcp工具将tdh集群中hdfs文件导入到tos租户hdfs。执行 hadoop fs -fs hdfs://192.168.100.104:8020 -ls / 和 hdfs dfs -ls / 是否都没问题。1.测试集群：以开发集群hdfs用户登录，然后分别访问开发集群和本地的hdfs。2.开发集群：以测试集群hd户登录，然后分别访问测试集群和本地的hdfs。
大数据CDH集群开启kerberos后主机名是否必须小写？
wangkuangood3200的专栏
09-12 1043
版权声明：本文为博主原创文章，未经博主允许不得转载。 一、传闻规则 大数据CDH集群如果要开启Kerberos，主机名必须要求小写，否则CDH集成Kerberos会失败。 二、背景 生产环境由于经常扩容，且集群有很多应用节点，如果采用/etc/hosts方式做主机之间的解析，那么人力成本会比较高，因此采用DNS。于是引入了一个问题，公司生产环境DNS对主机名解析，会将原先的主机名解析...
gokrb5：用于客户端和服务的Pure Go Kerberos库
02-03
gokrb5 建议使用最新版本： 开发将集中在最新的主要版本上。 新功能将仅针对此版本。 版本号 依赖管理 导入路径 用法 戈多克 去报告卡 转到模块 导入“ github.com/jcmturner/gokrb5/v8/{sub-package}” gopkg.in 导入“ gopkg.in/jcmturner/gokrb5.v7/{sub-package}” 转到版本支持 gokrb5可以与其他版本的Go一起使用，但尚未经过正式测试。 据报道，gokrb5也可以与编译器一起使用，但是尚未经过正式测试。 产品特点 纯Go-不依赖外部库 没有特定平台的代码 服务器端 HTTP处理程序包装器实现SPNEGO Kerberos身份验证 HTTP处理程序包装器对Microsoft AD PAC授权数据进行解码 客户端 可以通过SPNEGO Kerberos身份验证的Web服务进行身份验证的客户端 能够更改客户密码 一般 用于自定义集成的Kerberos库 解析Keytab文件 解析krb5.conf文件 解析客户端凭据缓存文件，例如/tmp/krb5cc_$(id -u $(
Go-gokrb5纯GoKerberos实现
08-14
gokrb5 纯Go Kerberos实现
CDH集群手动安装Kerberos完整流程
11-13
主要涉及两个文件：/etc/krb5.conf和/var/kerberos/krb5kdc/kdc.conf。 在/etc/krb5.conf文件中，需要将相关域名替换为实际的域名或IP，如： ```bash sed -i.orig 's/hadoop.COM/HADOOP.COM/g' /etc/krb5.conf sed...
CDH基于Kerberos开启身份验证实践总结
最新发布
CharlesYan的博客
08-02 675
Kerberos，一只守护在地狱之门外的三头犬
CDH 的Kerberos认证配置
weixin_34072857的博客
12-13 3361
2019独角兽企业重金招聘Python工程师标准>>> ...
go kafka 配置SASL认证及实现SASL PLAIN认证功能
weixin_45222119的博客
08-24 3223
配置SASL认证及实现SASL PLAIN认证功能
hdfs集群间kerberos互信配置
snail_bing的博客
09-13 3367
1.修改hdfs配置 在两个集群的hdfs-site.xml中添加以下内容： <property> <name>dfs.namenode.rpc-bind-host</name> <value>0.0.0.0</value> <description></description> </property> <property> <name>dfs.namenode.servic
hadoop+kerberos的跨域互信
Hijacker的专栏
10-08 6196
背景介绍：rock集群和stone集群，希望能够互相访问 1. 添加互信的principal(两个集群的kdc都要进行操作) kadmin: addprinc -e "des3-hmac-sha1:normal des-cbc-crc:normal" krbtgt/KERBEROS.STONE@KERBEROS.ROCK kadmin: addprinc -e "des3-hmac-sh
Kerberos常用命令总结
热门推荐
CarbonDioxide12138的博客
03-18 1万+
进入kadmin kadmin.local/kadmin 创建数据库 kdb5_util create -r JENKIN.COM -s　 启动kdc服务 service krb5kdc start 启动kadmin服务 service kadmin start　 修改当前密码 kpasswd 测试keytab可用性 kinit -k -t /var/kerberos/krb5kdc...
手动安装CDH集群Kerberos全攻略
"这篇文档详述了在CDH集群上...通过以上步骤，可以在CDH集群上成功部署Kerberos，提供强大的安全保护，但这个过程需要仔细操作，以确保每个环节的正确性。在实施过程中遇到任何问题，都应参考官方文档或寻求专业支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值