Windows Kerberos客户端配置并访问CDH

最新推荐文章于 2024-05-03 22:01:44 发布
最新推荐文章于 2024-05-03 22:01:44 发布
阅读量2.2k 收藏 3
点赞数 1
分类专栏： CDH 文章标签： CDH

1.概述
本文描述Windows Server 2008 R2（windows的内核版本时6.1，与windows 7相同）下安装Kerberos Client 及FireFox 下 HTTP访问 HDFS ，Yarn，Hive ，HBase等Hadoop服务的Web UI（如Namenode的50070，Yarn的8088）的过程。安装文档主要分为一下几步：
1.在Windows Server2008R2 64位安装Kerberos Client。
2.在Windows 下使用kinit测试。
3.通过 keytab 在Windows下进行kinit操作。
4.配置FireFox。
5.验证服务师傅正常访问。
这篇文档将着重介绍Windows Server R2下安装及使用Kerbero，并基于一下假设:
1.CDH环境已搭建并正常运行，
2.HDFS，Yarn，HBase，Hive等组建已安装部署
3.集群已完成Kerberos的配置，并正常使用
以下时对本次测试环境，但不时本操作手册的硬限制：
1.操作系统：Redhat7.2
2.CM版本：CM5.11.1
3.CDH版本：CDH5.11.1
4.采用ec2-user 对集群进行部署

2.Kerberos安装
2.1Kerberos安装包准备
在Kerberos官网下载Kerberos安装包（http://web.mit.edu/kerberos/dist/），如下截图：
在这里插入图片描述
根据自己Windows操作系统下载不同的Client，32位或者64位。
2.2安装Kerberos
1.将下载下来的客户端双击打开
在这里插入图片描述
2.点击下一步，如下图所示
在这里插入图片描述
3.选择“同意”，点击下一步
在这里插入图片描述
4.选择“Typical”进入下一步
在这里插入图片描述
5.点击“install”进行安装
在这里插入图片描述
点击“finish”安装完成
6.配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件
在这里插入图片描述
将KDC Server服务器上/ect/krb5.conf文件中的部分内容，拷贝到krb5.ini文件中
在这里插入图片描述
注意：此处将标注部分拷贝至krb5.ini文件中，否则会导致MIT Kerberos无法正常启动，如果直接将krb5.conf文件更名为ini文件并替换krb5.ini文件会出现文件格式问题导致MIT Kerberos无法正常启动。
7.配置完成后，启动MIT Kerberos客户端，如下图所示：
在这里插入图片描述
3 在Window下使用kinit测试
3.1 使用密码登录Kerberos
1.KDC Server上通过admin创建一个用户

[ec2-user@ip-172-31-18-97  keytab]$ sudo kadmin.local
Authenticating as principal  root/admin@CLOUDERA.COM with password.
kadmin.local:   addprinc test@CLOUDERA.COM
WARNING: no policy specified for test@CLOUDERA.COM;  defaulting to no policy
Enter password for principal  "test@CLOUDERA.COM":
Re-enter password for principal  "test@CLOUDERA.COM":
Principal "test@CLOUDERA.COM" created.

在这里插入图片描述
测试正常
在这里插入图片描述
2.在Winodw端，通过MIT Kerberos客户Get Ticket
在这里插入图片描述
在如下列表中可以看到获取到的Ticket
在这里插入图片描述
3.销毁获取到的Ticket
选中列表中需要销毁的Ticket，点击Destroy Ticket在这里插入图片描述
在这里插入图片描述
4.命令行下初始化
在这里插入图片描述
在客户端可以看到初始化成功的Ticket
在这里插入图片描述
5.命令行下kdestroy
在这里插入图片描述
客户端数据已destroy
在这里插入图片描述

3.2 使用Keytab文件登录Kerberos
1.在KDC Server创建一个ketab文件，使用上一步创建的test@CLOUDERA.COM


[ec2-user@ip-172-31-18-97  keytab]$ sudo kadmin.local
Authenticating  as principal root/admin@CLOUDERA.COM with password.
kadmin.local:  xst -norandkey -k test.keytab test@CLOUDERA.COM
kadmin.local:  Principal test.keytab does not exist.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type  aes256-cts-hmac-sha1-96 added to keytab WRFILE:-k.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type  aes128-cts-hmac-sha1-96 added to keytab WRFILE:-k.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type des3-cbc-sha1  added to keytab WRFILE:-k.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type arcfour-hmac  added to keytab WRFILE:-k.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type  camellia256-cts-cmac added to keytab WRFILE:-k.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type  camellia128-cts-cmac added to keytab WRFILE:-k.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type des-hmac-sha1  added to keytab WRFILE:-k.
Entry  for principal test@CLOUDERA.COM with kvno 1, encryption type des-cbc-md5  added to keytab WRFILE:-k.

注意：在生成keytab文件时需要加参数”-norandkey”否则会导致，直接使用kinit test@CLOUDERA.com初始化时会提示密码错误。

生成成功
在这里插入图片描述
在这里插入图片描述
测试test.keytab文件
在这里插入图片描述
注意：在非root用户下需要将生成的keytab文件，权限设置到644以上，否则会初始化失败或者使用sudo权限初始化
在这里插入图片描述
2.将生成的test.keytab文件拷贝到Windows Server上，在CMD命令行进行初始化在这里插入图片描述
初始化成功，在MIT Kerberos客户端显示
在这里插入图片描述
4 FireFox浏览器访问
4.1 FireFox浏览器配置
1.打开FireFox浏览器，在地址栏输入about:config
在这里插入图片描述
2.修改配置参数

network.negotiate-auth.trusted-uris = ip-172-31-18-97.ap-southeast-1.compute.internal,ip-172-31-19-209.ap-southeast-1.compute.internal
network.auth.use-sspi = false

(自己虚拟的ip)

注意：network.negotiate-auth.trusted-uris此参数主要配置需要访问服务的hostname，如果需要访问多个host则以“,”分割。
在这里插入图片描述
4.2 测试访问HDFS服务
1.访问HDFS的50070端口
在这里插入图片描述
由于此时未将hdfs的ticket初始化所以不能正常访问，提示输入principal和密码
2.在CM节点的/var/run/cloudera-scm-agent目录下选择最新的xxx-hdfs-NAMENODE目录下的hdfs.keytab文件
在这里插入图片描述
在这里插入图片描述

3.测试hdfs.keytab是否正常
通过kadmin.loca命令列出所有hdfs的身份

[root@ip-172-31-18-97 577-hdfs-NAMENODE]#  kadmin.local
Authenticating as principal  hdfs/admin@CLOUDERA.COM with password.
kadmin.local:   listprincs hdfs*![在这里插入图片描述](https://img-blog.csdnimg.cn/20190212235632578.jpg)
hdfs/ip-172-31-18-97.ap-southeast-1.compute.internal@CLOUDERA.COM
hdfs/ip-172-31-19-209.ap-southeast-1.compute.internal@CLOUDERA.COM
hdfs/ip-172-31-28-67.ap-southeast-1.compute.internal@CLOUDERA.COM
hdfs/ip-172-31-30-214.ap-southeast-1.compute.internal@CLOUDERA.COM

在这里插入图片描述


[root@ip-172-31-18-97 577-hdfs-NAMENODE]# kinit  -kt hdfs.keytab  hdfs/ip-172-31-18-97.ap-southeast-1.compute.internal@CLOUDERA.COM
[root@ip-172-31-18-97 577-hdfs-NAMENODE]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: hdfs/ip-172-31-18-97.ap-southeast-1.compute.internal@CLOUDERA.COM
 
Valid starting       Expires              Service principal
07/26/2017 11:23:08  07/27/2017 11:23:08  krbtgt/CLOUDERA.COM@CLOUDERA.COM
         renew until 07/31/2017 11:23:08

在这里插入图片描述
注意：可以使用listprincs列出的hdfs身份进行初始化
4.将hdfs.keytab文件拷贝到Windows机器上，通过CMD命令进行初始化
在这里插入图片描述
5.再次通过FireFox浏览器访问HDFS服务，正常访问
在这里插入图片描述
6.访问Yarn资源管理服务是否能正常
在这里插入图片描述
查看作业详情时无法正常访问，由于该hostname信息未添加到FireFox的network.negotiate-auth.trusted-uris配置中
在这里插入图片描述
将该hostname添加到配置中
在这里插入图片描述
再次访问成功
在这里插入图片描述
5 keytab合并及使用
1.将需要合并的keytab文件统一的放在同一个目录下
在这里插入图片描述
2.使用ktutil命令合并keytab文件，操作如下

[root@ip-172-31-18-97 keytab]# ktutil
ktutil:   rkt hbase.keytab
ktutil:   rkt hive.keytab
ktutil:   rkt hdfs.keytab
ktutil:   rkt yarn.keytab
ktutil:   wkt test-new.keytab
ktutil:

在当前目录下生成test-new.keytab文件
在这里插入图片描述
注意：由于生成的keytab文件权限默认为600，如果非root用户则需要使用sudo执行ktutil命令或者提升keytab权限至644以上。
3.将生成的文件拷贝至Windows机器上，使用kinit进行初始化
使用hdfs凭证进行初始化
在这里插入图片描述
HDFS的服务访问成功
在这里插入图片描述
使用hive凭证进行初始化
在这里插入图片描述
访问HDFS服务成功
在这里插入图片描述
使用hbase凭证进行初始化
在这里插入图片描述
访问HDFS服务成功
在这里插入图片描述
使用yarn凭证进行初始化
在这里插入图片描述
访问HDFS服务成功
在这里插入图片描述
通过上述测试，无论使用hdfs/yarn/hbase/hive任何身份均可正常访问HDFS服务，因此可以得出Kerberos只做身份认证，未做页面的授权。

6.常见问题
1.无法安装Kerberos，提示you must install a windows service错误
可能是由于Window版本问题，本文档选择的安装包本次不支持Windows Server2008（windows的内核版本是6.0，与windows vista相同），所以建议客户端机器选择Windows7或以上版本。

2.设置Kerberos Credential Cache File路径
配置Windows的环境变量

  • KRB5_CONFIG: Path for the kerberos inifile.（）
  • KRB5CCNAME: Path for the kerberoscredential cache file.
  • 在这里插入图片描述
    配置完环境变量后，需要重启机器使其环境变量生效。注意默认的“KRB5CCNAME”目录是在C:\temp.

3.在windows下的krb5.ini配置错误导致MIT Kerberos不能启动
如果直接将krb5.conf文件更名为ini文件并替换krb5.ini文件会出现文件格式问题导致MIT Kerberos无法正常启动，配置信息如下：

# Configuration snippets may be placed in this  directory as well
 
[libdefaults]
 default_realm = CLOUDERA.COM
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns =  false
# default_realm = EXAMPLE.COM
 #default_ccache_name =  KEYRING:persistent:%{uid}
 
[realms]
# EXAMPLE.COM = {
#  kdc =  kerberos.example.com
#   admin_server = kerberos.example.com
# }
 CLOUDERA.COM = {
  kdc =  ip-172-31-18-97.ap-southeast-1.compute.internal
  admin_server  = ip-172-31-18-97.ap-southeast-1.compute.internal
 }
 
[domain_realm]
# .example.com = EXAMPLE.COM
# example.com = EXAMPLE.COM
 .ip-172-31-18-97.ap-southeast-1.compute.internal  = CLOUDERA.COM

4.在创建后凭证后，使用该凭证创建keytab文件后，kinit该凭证报密码错误
在生成keytab文件时需要加参数”-norandkey”否则会导致直接使用kinit test@CLOUDERA.com直接初始化时会提示密码错误。

5.在通过浏览器访问Hadoop服务时部分功能能正常，部分功能不正常
需要确认访问的host地址是否加入network.negotiate-auth.trusted-uris中，此参数主要配置需要访问服务的hostname，如果需要访问多个host则以“,”分割。

6.不需要合并所有Hadoop相关的服务的keytab来访问不同的页面，成功初始化一个用户比如HDFS即可。

7 参考文档
http://doc.mapr.com/display/MapR/Configuring+Kerberos+Authentication+for+Windows
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_sg_browser_access_kerberos_protected_url.html
https://community.hortonworks.com/articles/28537/user-authentication-from-windows-workstation-to-hd.html
http://web.mit.edu/kerberos/dist/index.html#kfw-4.0

在这条路上一直走下去
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
0005-Windows Kerberos客户端配置并访问CDH
Hadoop_SC的博客
11-15 1758
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.概述 本文档描述Windows Server2008 R2（windows的内核版本是6.1，与windows 7相同）下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070，Yarn的8088)的过程。安装文档...
kerberos 客户端 for window 64
07-20
kerberos 客户端 for window 64位，安装配置教程见https://download.csdn.net/download/u013362877/10552816
Kerberos认证问题的调试试验
web开发
10-10 474
Kerberos作为一种windows推荐的集成认证方式被广泛的应用，也有很多文章介绍Kerberos认证方式，这里通过一个Kerberos认证问题的调试试验来介绍一下Kerberos的认证流程以及相关的调试工具和方法。Kerberos认证流程 总的来说Kerberos是通过统一的认证服务器来对客户端进行认证，认证成功后客户端才能取得访问真正服务器的凭据。所以认证流程中涉及了三个方面如下图所示。...
Windows认证机制和协议---Kerberos协议
最新发布
Naive的博客
05-03 1161
Kerberos协议是由麻省理工学院提出的一种网络身份认证协议，提供了一种在开放的非安全网络中认证识别用户身份信息的方法。其设计目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务。该认证过程的实现不依于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有主机的物理安全，并假设网络上传送的数据包是可以被任意的读取、修改和插入数据。在以上情况下，Kerberos作为一种可信任的第三方认证服务，是通过传统的密码技术（如：共享密钥）执行认证服务的.
CDH安装以及开启kerberos
szh1124的专栏
04-05 5085
首先感谢前任总结的一些经验，尤其是开启kerberos方面，看了好几篇文章才最终搞定，当然还有好基友同事的一起帮忙，首先说一下按照CDH官方网站上提供的文档，我没有搞定，可能是英文水平太差的原因。 一、主机修改篇 1、下载地址：http://archive.cloudera.com/cm5/cm/5/  CDHmanager下载cloudera-manager-centos7-cm5.7.5_
windows 配置 Kerberos客户端访问CDH组件
mizuhokaga的博客
08-19 867
Kerberos Windows客户端配置访问
域内渗透约束委派
http://www.gov.cn/xinwen/2016-11/07/content_5129723.htm
09-20 2582
域渗透约束委派的利用
Python confluent kafka客户端配置kerberos认证流程详解
01-19
其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配置稍微麻烦一些，下面说一下具体的配置过程，confluent kafka模块底层依赖于librdkafka，这是使用c编写的高性能的...
CDH开启Kerberos+Sentry权限控制-实施配置指南
12-02
CDH开启Kerberos+Sentry权限控制-实施配置指南,完整的详细教程
Windows安装kerberos
07-20
Windows安装kerberos，通过kerberos验证连接远程服务器，比如Hadoop等。
CDH_5.15.1开启kerberos认证.docx
04-17
本文将详细阐述如何在CDH 5.15.1上配置并启用Kerberos，以及Kafka在Kerberos环境下的配置和操作。 首先，我们需要安装和配置Kerberos分布式认证服务（KDC）。这涉及以下几个步骤： 1. 在服务器上通过`yum install`...
windows配置kerberos认证
01-09
最近在研究hive数据库，但是Windows环境下hive数据库登录需要kerberos的认证，被kerberos的认真折磨了好几天，差不多把百度翻了个底朝天没找到实际价值，后来终于解决了。总结了一份文档
【kerberos】hadoop集群使用keytab认证的逻辑
lisacumt的专栏
03-08 1179
hadoop集群使用keytab认证的逻辑
Kerberos技术实践V1.0
super_chenzhou
08-07 726
Kerberos技术实践
kinit: Failed to store credentials: Internal credentials cache error (filename: /tmp/krb5cc_1006)
cclovezbf的博客
01-03 2702
一般认证可以管一天 续期7天，七天认证下，不也可以么？问题的关键是 你这样一直认证确实可以解决，但是我们使用kerberos的目的就是安全，你这样一直认证，等于说别人只要知道了你devuser的密码就可以(等你认证或有效期内)在hdfs上为所欲为 ，而之前他需要kinit，他需要知道keytab的位置和principal。我们的脚本都是通过dolphin去调用shell，dolphin的用户对应的租户都是producer，就是说只有一个用户，但是有成千上万个任务，真的需要全部都kinit一遍吗？
Kerberos＋HDP客户端部署与配置
那年夏天110的博客
08-31 1614
背景说明： 在Ambari平台上启用Kerberos之后，一些服务的Web UI 如：Namenode:50070、Yarn Web UI、spark history UI等快速链接大部分都是需要Kerberos认证才可以继续使用的。 像这种情况，就不能在Linux上进行操作.需要在Windows上安装Kerberos客户端，再进行浏览器配置才可以访问Hadoop相关服务的Web UI界面。 安装配置主要分为以下几步 在windows上安装Kerberos客户端，并修改本地krb5.in..
Kerberos 基本安装与配置
热门推荐
数据源的港湾
01-13 2万+
由于最近环境需要用到Kerberos认证，之前对Kerberos这块了解甚少，今天抽空自己手动安装一下Kerberos，以此加深对Kerberos的理解。1 选择一台机器运行KDC，安装Kerberos相关服务[root@cent-1 ~]# yum install -y krb5-server krb5-libs krb5-auth-dialog krb5-workstation [root@ce
Hadoop（HDP）集群kerberos认证实现方案
蘑菇丁的专栏
03-08 6282
Hadoop（HDP）集群kerberos认证实现方案 ！！出于安全问题，本文隐藏了部分系统名称及服务名称，修改了部分可能造成信息泄露的部分。部分配置为虚拟机配置文件副本，相关主机名称仅供参考。 ！！本文适用于HDP部署了ambari平台的kerberos认证操作。其他环境供参考。 文档中相关图片不上传了。 部署环境：Hadoop2.7.3 HDP2.5.3 本文档参考了
CDH集群部署详解：Kerberos与Apache Sentry整合
"Hadoop详细部署文档，涵盖了Hadoop的版本分支、特别是CDH服务的部署，包括Kerberos和Apache Sentry的集成，以及CDH的运维和安装方法。" Hadoop是大数据处理领域的重要框架，主要由Apache软件基金会维护。Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值