温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务,由于Active Directory服务即提供了统一的用户管理也提供了Kerberos认证服务,在向AD中新增用户的同时也为用户创建了相应的Kerberos账号,那本篇文章Fayson主要介绍,如何在不考虑自定义用户的Kerberos账号的前提下将CDH中集成的RedHat7的Kerberos迁移至AD的Kerberos认证。
- 内容概述
1.测试环境描述
2.CDH迁移Kerberos认证至AD
3.集群服务启动及验证
4.总结
- 测试环境
1.RedHat7.3
2.CM和CDH版本为5.15
3.集群已启用Kerberos
- 前置条件
1.Active Directory已安装且正常使用
2.测试环境描述及准备
Fayson在前面一系列文章中介绍了AD的安装及与CDH集群中各个组件的集成,包括《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Active Directory安装证书服务并配置》、《03-Active Directory的使用与验证》、《04-如何在RedHat7上配置OpenLDAP客户端及集成SSSD服务和集成SSH登录》、《05-如何为Hive集成AD认证》、《06-如何为Impala集成AD认证》、《07-如何为Hue集成AD认证》、《08-如何为Navigator集成Active Directory认证》和《09-如何为CDSW集成Active Directory认证》。
- AD服务信息
IP地址 | HOSTNAME | 描述 |
---|---|---|
xxx.xx.x.xx | adserver.fayson.com | Active Directory已安装 |
1.准备一个用于CM管理AD中Kerberos的账号cloudera/admin
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SBmtiP05-1583594515085)(https://ask.qcloudimg.com/http-save/yehe-1522219/5qlmae17y6.jpeg)]
创建成功
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WL4o6wk8-1583594515088)(https://ask.qcloudimg.com/http-save/yehe-1522219/raxznpqlu3.jpeg)]
2.为cloudera-scm/admin设置Cloudera Groups和Cloudera Users组织的委派控制
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FQzhwIga-1583594515088)(https://ask.qcloudimg.com/http-save/yehe-1522219/gpov6xu17l.jpeg)]
设置委派控制的所有权限
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OTs8bWwJ-1583594515089)(https://ask.qcloudimg.com/http-save/yehe-1522219/fmw11s2lho.jpeg)]
3.CDH迁移Kerberos认证至AD
1.停止集群所有服务,CDH和CMS的所有服务
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2QqdV3ML-1583594515090)(https://ask.qcloudimg.com/http-save/yehe-1522219/knlh7baiqa.jpeg)]
2.修改集群所有节点的/etc/krb5.conf文件为如下内容
[root@cdh01 ~]# more /etc/krb5.conf
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/
[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = FAYSON.COM
#default_ccache_name = KEYRING:persistent:%{uid}
[realms]
FAYSON.COM = {
kdc = adserver.fayson.com
admin_server = adserver.fayson.com
}
[domain_realm]
.fayson.com = FAYSON.COM
fayson.com = FAYSON.COM
(可左右滑动)
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7dLNnFeL-1583594515091)(https://ask.qcloudimg.com/http-save/yehe-1522219/nsdb0rymwx.jpeg)]
3.进入“管理”-> “安全”-> “Kerberos凭据”界面
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3vqKBJhb-1583594515091)(https://ask.qcloudimg.com/http-save/yehe-1522219/w19nvs965n.jpeg)]
4.点击“配置”修改Kerberos服务指向AD服务,具体修改内容如下图标注部分
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jbckszXs-1583594515092)(https://ask.qcloudimg.com/http-save/yehe-1522219/l605rezd0t.jpeg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GOeP629t-1583594515092)(https://ask.qcloudimg.com/http-save/yehe-1522219/oggbv7y8re.jpeg)]
5.保存配置后,回到“Kerberos凭据”界面,点击“导入Kerberos Account Manager凭据”
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QMmbKMYW-1583594515092)(https://ask.qcloudimg.com/http-save/yehe-1522219/pwjg3u657t.jpeg)]
用户名为前面环境准备节点创建的cloudera-scm/admin账号,输入账号密码后点击导入
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TruJtJwz-1583594515093)(https://ask.qcloudimg.com/http-save/yehe-1522219/awx97f726w.jpeg)]
完成Kerberos管理账号的导入,CM通过该账号向AD服务器创建集群所有服务使用到的Kerberos账号。
6.完成上述操作后,需要为集群重新生成Kerberos账号,注意重新生成的前提是需要集群所有服务已停止
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7VlyveZL-1583594515093)(https://ask.qcloudimg.com/http-save/yehe-1522219/zicqzmcvrb.jpeg)]
凭证生成成功
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0quX5sbz-1583594515094)(https://ask.qcloudimg.com/http-save/yehe-1522219/z4nnhypj03.jpeg)]
查看AD上Cloudera Users组织下有大量的用户生成,生成的用户为CDH各个服务的Kerberos账号。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TdTTWN5E-1583594515094)(https://ask.qcloudimg.com/http-save/yehe-1522219/abwqh8w47q.jpeg)]
4.启动服务及验证
1.集群所有服务均正常启动
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RR4so3xf-1583594515094)(https://ask.qcloudimg.com/http-save/yehe-1522219/gq16armn89.jpeg)]
2.在集群中提交一个MR作业测试
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dQgj5kVM-1583594515095)(https://ask.qcloudimg.com/http-save/yehe-1522219/9jrkicqcbf.jpeg)]
作业执行成功
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PCJ4EvKg-1583594515095)(https://ask.qcloudimg.com/http-save/yehe-1522219/a12ljtoeh.jpeg)]
5.总结
1.CDH的Kerberos集成迁移至AD认证,同样需要在AD上创建一个用于CM统一管理Hadoop所有服务的Kerberos账号cloudera-scm/admin,注意该账号需要携带“/admin”后缀以表示该用于拥有管理创建Kerberos账号的权限。
2.在切换为AD认证后,需要配置Active Directory后缀属性,表示CM将Hadoop所有服务的用户创建到该组织下。
3.需要在CM上导入Kerberos Account Manager凭据(cloudera-scm/admin)。
4.完成所有AD的配置集成后,需要为集群所有服务重新生成Kerberos信息,因为AD服务器上并没有这些服务的Kerberos信息。
5.注意这里只能将CM及CDH所有服务的Kerberos账号生成到AD服务器中,至于自己创建的Kerberos账号需要手动的进行创建。
提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。