CDH启用kerberos认证

最新推荐文章于 2024-08-09 10:37:19 发布
最新推荐文章于 2024-08-09 10:37:19 发布
阅读量6.5k 收藏 6
点赞数
分类专栏： 大数据-cdh 文章标签： CDH启用kerberos kerberos登录hive kerberos登录hbase 导出keytab文件 修改kerberos账户密码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eyeofeagle/article/details/104048173
版权

文章目录

1，集群架构

角色主机ipkerberos软件包说明
CDH集群 (单节点: kerberos客户端)192.168.56.161, cdh-node1krb5-libs, krb5-workstationCM server端（额外安装包）: openldap-clients
kerberos集群(单节点: kerberos服务端)192.168.56.162, cdh-node2krb5-libs, krb5-workstation , krb5-auth-dialog ,krb5-serverrealm名称: CDH.COM

a, kerberos: 命令行工具

操作目的命令
进入管理员命令行kadmin , kadmin.local 【生成keytab: ktadd -k a.keytab xxprinc 】
用户登录kinit [-kt keytab文件路径] 账号名
列出当前账号信息klist [-e]
销毁登录信息kdestory

b, kadmin命令行: 修改账号密码, 导出keytab认证文件

##kerberos客户端使用：kadmin (需要登录验证)
##kerberos服务端使用: kadmin.local (无需登录验证)
[root@cdh-node1 ~]# kadmin
Authenticating as principal scmroot/admin@CDH.COM with password.
Password for scmroot/admin@CDH.COM: 
kadmin:  ?
Available kadmin requests:
add_principal, addprinc, ank
                         Add principal
delete_principal, delprinc
                         Delete principal
modify_principal, modprinc
                         Modify principal
rename_principal, renprinc
                         Rename principal
change_password, cpw     Change password
get_principal, getprinc  Get principal
list_principals, listprincs, get_principals, getprincs
                         List principals
add_policy, addpol       Add policy
modify_policy, modpol    Modify policy
delete_policy, delpol    Delete policy
get_policy, getpol       Get policy
list_policies, listpols, get_policies, getpols
                         List policies
get_privs, getprivs      Get privileges
ktadd, xst               Add entry(s) to a keytab
ktremove, ktrem          Remove entry(s) from a keytab
lock                     Lock database exclusively (use with extreme caution!)
unlock                   Release exclusive database lock
purgekeys                Purge previously retained old keys from a principal
get_strings, getstrs     Show string attributes on a principal
set_string, setstr       Set a string attribute on a principal
del_string, delstr       Delete a string attribute on a principal
list_requests, lr, ?     List available requests.
quit, exit, q            Exit program.

kadmin:  change_password 
usage: change_password [-randkey] [-keepold] [-e keysaltlist] [-pw password] principal

kadmin:  change_password 
usage: change_password [-randkey] [-keepold] [-e keysaltlist] [-pw password] principal
kadmin:  change_password scmroot/admin@CDH.COM
Enter password for principal "scmroot/admin@CDH.COM": 
Re-enter password for principal "scmroot/admin@CDH.COM": 
Password for "scmroot/admin@CDH.COM" changed.

kadmin:  listprincs 
HTTP/cdh-node1@CDH.COM
hbase/cdh-node1@CDH.COM

kadmin:  ktadd 
Usage: ktadd [-k[eytab] keytab] [-q] [-e keysaltlist] [principal | -glob princ-exp] [...]

kadmin:  ktadd -k /root/hbae.keytab hbase/cdh-node1@CDH.COM
Entry for principal hbase/cdh-node1@CDH.COM with kvno 3, encryption type aes256-cts-hmac-sha1-96 added to keytab WRFILE:/root/hbae.keytab.
Entry for principal hbase/cdh-node1@CDH.COM with kvno 3, encryption type aes128-cts-hmac-sha1-96 added to keytab WRFILE:/root/hbae.keytab.
Entry for principal hbase/cdh-node1@CDH.COM with kvno 3, encryption type des3-cbc-sha1 added to keytab WRFILE:/root/hbae.keytab.
Entry for principal hbase/cdh-node1@CDH.COM with kvno 3, encryption type arcfour-hmac added to keytab WRFILE:/root/hbae.keytab.
Entry for principal hbase/cdh-node1@CDH.COM with kvno 3, encryption type des-hmac-sha1 added to keytab WRFILE:/root/hbae.keytab.
Entry for principal hbase/cdh-node1@CDH.COM with kvno 3, encryption type des-cbc-md5 added to keytab WRFILE:/root/hbae.keytab.
kadmin:  quit

[root@cdh-node1 ~]# ls /root/hbae.keytab 
/root/hbae.keytab

2, 安装kerberos服务

参考指南：https://web.mit.edu/kerberos/krb5-1.12/doc/admin/install_kdc.html#install-and-configure-the-master-kdc

a, 配置和初始化

####################1, kdc服务安装 ####################
		yum -y install  krb5-libs krb5-workstation  krb5-auth-dialog krb5-server

##a,修改配置(client端) ： /etc/krb5.conf
		sed -i s/EXAMPLE/CDH/ /etc/krb5.conf
		sed -i "s/example.com/$(hostname)/" /etc/krb5.conf

##b,修改配置(server端) ： /var/kerberos/krb5kdc/kadm5.acl  
		sed -i  s/EXAMPLE/CDH/ /var/kerberos/krb5kdc/kadm5.acl  
##c,修改配置(server端) ： /var/kerberos/krb5kdc/kdc.conf   --> 
		sed -i -e '8i\\tmax_renewable_life= 7d 0h 0m 0s' -e s/EXAMPLE/CDH/  /var/kerberos/krb5kdc/kdc.conf

####################2，设置kerberso数据库账号 ####################
#创建kdc数据库: 设置密码: -P kdc, -s 生成存储规则的文件stash file
#If you choose not to install a stash file, the KDC will prompt you for the master key each time it starts up.
#This means that the KDC will not be able to start automatically, such as after a system reboot
kdb5_util create  -s  -r CDH.COM -P kdc

#生成如下文件：
[root@test-c6 ~]# ls /var/kerberos/krb5kdc/ -a
.k5.CDH.COM  kadm5.acl  kdc.conf  principal  principal.kadm5  principal.kadm5.lock  principal.ok

kdb5_util会创建如下文件：

  • two Kerberos database files： principal, principal.ok
  • the Kerberos administrative database file：principal.kadm5
  • the administrative database lock file：principal.kadm5.lock
  • the stash file, in this example: .k5.CDH.COM

b, 创建kdc管理员账号

#创建kdc管理员账号
echo -e "addprinc admin/admin@CDH.KDC.COM  \nadmin\nadmin" |kadmin.local
#交互式命令行=> kadmin.local:  addprinc admin/admin@CDH.KDC.COM  #设置密码: admin

#启动服务, 测试账号
chkconfig  krb5kdc on
chkconfig  kadmin  on
service krb5kdc start
service kadmin start
####################3，设置kerberos中的cdh管理员账号 ####################
#交互式命令行⇒ kadmin.local:  addprinc scmroot/admin@CDH.KDC.COM, 设置密码:scmroot
echo -e "addprinc scmroot/admin@CDH.COM  \nscmroot\nscmroot" |kadmin.local

#验证登录账户
echo "scmroot" |kinit scmroot/admin@CDH.COM
klist

3, CDH集群启用kerberos

a, Administrator: security

在这里插入图片描述

b, Enable Kerberos

在这里插入图片描述

c, 确认并勾选

在这里插入图片描述

d, 填写kdc信息

在这里插入图片描述

e, 略过CDH管理kerberos, 填写CDH管理员账号

在这里插入图片描述

4, 使用kerberos认证，调用hive,hbase等服务

a, 获取CDH各服务的kerberos账号

[root@cdh-node1 ~]# kdestroy 
[root@cdh-node1 ~]# klist 
klist: No credentials cache found (ticket cache FILE:/tmp/krb5cc_0)
[root@cdh-node1 ~]# su hdfs

[hdfs@cdh-node1 root]$ hive 
##登录报错，Caused by: GSSException: No valid credentials provided
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/jars/hive-common-1.1.0-cdh5.12.0.jar!/hive-log4j.properties
Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: "cdh-node1/192.168.56.161"; destination host is: "cdh-node1":8020; 
..........
#2, 查询cdh中的hive,hbase等服务注册的kerberos账号
[root@cdh-node1 ~]# klist 
klist: No credentials cache found (ticket cache FILE:/tmp/krb5cc_0)
[root@cdh-node1 ~]# echo -e "scmroot" |kinit scmroot/admin@CDH.COM
Password for scmroot/admin@CDH.COM: 
[root@cdh-node1 ~]# klist 
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: scmroot/admin@CDH.COM

Valid starting     Expires            Service principal
01/20/20 02:43:24  01/21/20 02:43:24  krbtgt/CDH.COM@CDH.COM
	renew until 01/27/20 02:43:24
[root@cdh-node1 ~]# kadmin
Authenticating as principal scmroot/admin@CDH.COM with password.
Password for scmroot/admin@CDH.COM: 
kadmin:  listprincs 
HTTP/cdh-node1@CDH.COM
K/M@CDH.COM
admin/admin@CDH.COM
hbase/cdh-node1@CDH.COM
hdfs/cdh-node1@CDH.COM
hive/cdh-node1@CDH.COM
hue/cdh-node1@CDH.COM
kadmin/admin@CDH.COM
kadmin/cdh-node2@CDH.COM
kadmin/changepw@CDH.COM
krbtgt/CDH.COM@CDH.COM
mapred/cdh-node1@CDH.COM
oozie/cdh-node1@CDH.COM
scm/admin@CDH.COM
scmroot/admin@CDH.COM
test/cdh-node2@CDH.COM
yarn/cdh-node1@CDH.COM
zookeeper/cdh-node1@CDH.COM

b, 使用keytab登录hive

# 找到hive的keytab文件，验证kerberos账号
[root@cdh-node1 ~]# find /opt/ |grep keytab |grep hive
/opt/cm-5.12.2/run/cloudera-scm-agent/process/91-hive-HIVESERVER2/hive.keytab
/opt/cm-5.12.2/run/cloudera-scm-agent/process/90-hive-HIVEMETASTORE/hive.keytab
[root@cdh-node1 ~]# kinit -kt /opt/cm-5.12.2/run/cloudera-scm-agent/process/91-hive-HIVESERVER2/hive.keytab  hive/cdh-node1@CDH.COM 
[root@cdh-node1 ~]# klist 
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: hive/cdh-node1@CDH.COM

Valid starting     Expires            Service principal
01/20/20 02:45:44  01/21/20 02:45:44  krbtgt/CDH.COM@CDH.COM
	renew until 01/25/20 02:45:44

#登录Hive
[root@cdh-node1 ~]# hive
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/jars/hive-common-1.1.0-cdh5.12.0.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> show tables;
OK
t1
Time taken: 1.948 seconds, Fetched: 1 row(s)
hive> select * from t1;
OK
1
2
Time taken: 0.398 seconds, Fetched: 2 row(s)
hive> insert into t1 values(3);
Query ID = root_20200120024646_9b765d52-d72e-432d-8bd9-2c73405b856e
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1579483243323_0001, Tracking URL = http://cdh-node1:8088/proxy/application_1579483243323_0001/
Kill Command = /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hadoop/bin/hadoop job  -kill job_1579483243323_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2020-01-20 02:46:57,558 Stage-1 map = 0%,  reduce = 0%
2020-01-20 02:47:04,998 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.49 sec
MapReduce Total cumulative CPU time: 1 seconds 490 msec
Ended Job = job_1579483243323_0001
Stage-4 is selected by condition resolver.
Stage-3 is filtered out by condition resolver.
Stage-5 is filtered out by condition resolver.
Moving data to: hdfs://cdh-node1:8020/user/hive/warehouse/t1/.hive-staging_hive_2020-01-20_02-46-41_281_126491748162214148-1/-ext-10000
Loading data to table default.t1
Table default.t1 stats: [numFiles=3, numRows=3, totalSize=6, rawDataSize=3]
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1   Cumulative CPU: 1.49 sec   HDFS Read: 3214 HDFS Write: 68 SUCCESS
Total MapReduce CPU Time Spent: 1 seconds 490 msec
OK
Time taken: 25.386 seconds
hive>

c, 使用keytab登录hbase

#################### 登录hbase ####################
[root@cdh-node1 ~]# kinit  -kt /opt/cm-5.12.2/run/cloudera-scm-agent/process/82-hbase-REGIONSERVER/hbase.keytab hbase/cdh-node1@CDH.COM
[root@cdh-node1 ~]# klist 
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: hbase/cdh-node1@CDH.COM

Valid starting     Expires            Service principal
01/20/20 02:50:37  01/21/20 02:50:37  krbtgt/CDH.COM@CDH.COM
	renew until 01/25/20 02:50:37
	
[root@cdh-node1 ~]# hbase shell
Version 1.2.0-cdh5.12.0, rUnknown, Thu Jun 29 04:42:07 PDT 2017
hbase(main):001:0> list
TABLE                                                                                                                                                                        
t1                                                                                                                                                                           
1 row(s) in 0.1630 seconds

=> ["t1"]
hbase(main):002:0> scan 't1'
ROW                                          COLUMN+CELL                                                                                                                     
 r1                                          column=f:name, timestamp=1579423658722, value=a                                                                                 
 r2                                          column=f:name, timestamp=1579430009816, value=b                                                                                 
2 row(s) in 0.1070 seconds

hbase(main):003:0> put 't1','r3','f:name','cc'
0 row(s) in 0.0600 seconds
根哥的博客
关注
专栏目录
CDH_5.15.1开启kerberos认证.docx
04-17
在CDH（Cloudera Distribution Including Apache Hadoop）环境中，开启Kerberos认证能够增强数据安全性，防止未授权的访问。本文将详细阐述如何在CDH 5.15.1上配置并启用Kerberos，以及Kafka在Kerberos环境下的配置...
CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理
不以物喜的博客
02-02 2656
CDH数仓项目基于Kerberos安全认证和Sentry权限管理详细说明
CDH6安装kerberos（一）kerberos概念理解
独孤飞磊
11-30 1623
一. Kerberos概述 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 Hadoop使用Kerberos作为用户和服务的强身份验证和身份传播的基础。Kerberos是一种计算机网络认证协议，它允许某实体在非安
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2_hive开启 kerberaos认证
最新发布
heike_Ch的博客
08-09 659
从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。因为入门学习阶段知识点比较杂，所以我讲得比较笼统，大家如果有不懂的地方可以找我咨询，我保证知无不言言无不尽，需要相关资料也可以找我要，我的网盘里一大堆资料都在吃灰呢。干货主要有：①1000+CTF历届题库（主流和经典的应该都有了）②CTF技术文档（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）
简洁易懂的kerberos的安全认证原理及搭建流程并集成到CDH中
weixin_43255026的博客
05-21 1446
一．Kerberos认证过程解析 Kerveros解决的是如何证明某个人就是他声称的那个人。 采用的方法：有一个仅存在A和B之间的秘密，如果有人对A声称自己就是B，那么A通过让B提供这个秘密来证明这个人就是B。 这样的验证过程中有几个问题需要解决： 1.秘密怎样表示 2.B如何向A提供这个秘密 3.A如何识别这个秘密 4.秘密是怎么生成，并且仅告知A和B 首先明白几个概念： Long-term k...
Kerberos认证流程及基本操作
qq_45329047的博客
03-23 3644
Kerberos主要是有三个重要的角色：1、访问服务的Client2、提供服务的Server3、KDC（Key Distribution Center）密钥分发中心，其中报错AS（authorization server）和TGS（ticket granting server）上图 AD其实类似于一个本机的一个数据库，存储所有client的白名单。
CDH5.15启用kerberos+Sentry手册_v1.0.docx
04-10
《CDH5.15启用kerberos+Sentry手册》详细解读 在大数据处理环境中，确保数据的安全性至关重要。CDH（Cloudera Distribution Including Apache Hadoop）作为一款流行的大数据平台，提供了强大的安全机制，包括...
CDH Kerberos入门与实战
02-27
Kerberos协议在Hadoop集群中的应用非常广泛，特别是在启用Kerberos安全认证的CDH环境中。通过Kerberos的票据授权机制，Hadoop集群能够确保只有经过身份验证的用户和服务才能访问集群资源，极大地增强了系统的安全性...
Hadoop部署和配置Kerberos安全认证
05-17
#### 一、Kerberos认证系统简介 Kerberos是一种网络认证协议，其设计目标是通过密钥分发中心（Key Distribution Center, KDC）来管理用户和服务之间的认证过程。Kerberos在分布式环境中提供了强大的身份验证功能，...
详细讲解kerberos认证全过程、黄金、白银票据
qq_63217130的博客
08-18 2699
当TGS接收到请求之后，会检查自身是否存在客户端请求的服务，如果存在就会拿ktbtgt hash解密TGT（由于TGS是在DC上的，所有具有krbtgt的hash），解密到的信息中包含了login session key，别忘了客户端发过来的时间戳就是利用login session key加密的，此时就可以用其解密获取到时间戳了，然后验证时间戳。只要在TGT过期之前，可以直接请求TGS申请服务票据，而不用在每次访问服务的时候都向AS请求TGT，减少了与AS的通信，提高了系统的性能和效率。
【安全】Kerberos相关问题进行故障排除| 常见错误和解决方法
热门推荐
九师兄
01-07 2万+
1.概述 转载 为了学习：Kerberos相关问题进行故障排除| 常见错误和解决方法 2.总结 可以用来帮助诊断Kerberos相关问题的原因并实施解决方案的指南。 3. 症状 单击症状链接转到相应的疑难解答部分。 2.1 Kerberos tgt javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: F.
CDH部署及排错
weixin_40548182的博客
01-13 1201
第1章 搭建 前言 该文档为部署CDH6.3.1,其他版本的CDH安装步骤大体一样，如果安装其他版本的cdh遇到报错，请参考我的另一篇文档。 CDH-7.1.4安装报错解决 1.1 说明 这里的ip和主机名视实际情况而定 1.2 环境 操作系统 CentOS 7 服务器5台，1台master，5台slave（master兼master和slave） 主机名解析 免密登录 1.3 时间同步 Master节点操作 yum -y install chrony 配置从阿里云同步时间，注意allow后的ip段，sl
CDH 之 Kerberos 安全认证和 Sentry 权限控制管理（一）
予挚之的博客
04-10 1209
Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，2016年3月成为Apache顶级项目。Sentry是一个基于角色的粒度授权模块，提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。Kerberos+Sentry
CDH6.3.2集成Kerberos
热情、奔放、快乐编程！
09-03 765
参考：https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cdh_sg_browser_access_kerberos_protected_url.html#topic_6_2__section_vj5_gwv_ls。禁用Kerberos，由于没有按钮可以直接操作，需要我们手动一个个修改开启了Kerberos的组件的配置。1.连接你的集群krb5kdc和kadmin服务所在的机器，复制/etc/krb5.conf中的配置。
[1067]CDH6.3.2之Kerberos安全认证
周小董
11-09 5525
文章目录Kerberos简介Kerberos认证原理Kerberos部署Cloudera Manager平台上Kerberos的配置（在做此操作之前，请检查服务器时期是否正常）Kerberos安全环境使用 Kerberos简介 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保
cdh+dolphinscheduler开启kerberos
SmellyKitty
01-30 1817
CDH 6.3.2 (Parcel)版本+dolphinscheduler 1.3.2版本开启kerberos服务流程
CDH安装以及开启kerberos
szh1124的专栏
04-05 5098
首先感谢前任总结的一些经验，尤其是开启kerberos方面，看了好几篇文章才最终搞定，当然还有好基友同事的一起帮忙，首先说一下按照CDH官方网站上提供的文档，我没有搞定，可能是英文水平太差的原因。 一、主机修改篇 1、下载地址：http://archive.cloudera.com/cm5/cm/5/  CDHmanager下载cloudera-manager-centos7-cm5.7.5_
CDH启用Kerberos认证
06-03
好的，关于CDH启用Kerberos认证，我可以给你提供一些基本的信息。 CDH（Cloudera Distribution of Hadoop）是一种基于Apache Hadoop的分布式计算平台，可以用于管理和处理大规模的数据。Kerberos是一种网络认证协议...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

根哥的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值