Ambari集成Kerberos

最新推荐文章于 2024-04-26 16:31:32 发布
最新推荐文章于 2024-04-26 16:31:32 发布
阅读量3.4k 收藏 7
点赞数 1
文章标签： ambari linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39122146/article/details/121266987
版权

Ambari集成Kerberos


搭建ambari请参考我的上一篇博客： centos7安装Ambari 2.7.5 + HDP3.1.5

一、Kerberos搭建

环境：

  1. 首先时间一定要同步(上一篇博客中已同步)。
  2. 节点
    server：hadoop101
    client：hadoop102 hadoop103

搭建Kerberos Server

kdc服务器包含三个配置文件：

# 集群上所有节点都有这个文件而且内容同步
/etc/krb5.conf
# 主服务器上的kdc配置
/var/kerberos/krb5kdc/kdc.conf
# 能够不直接访问 KDC 控制台而从 Kerberos 数据库添加和删除主体，需要添加配置
/var/kerberos/krb5kdc/kadm5.acl

以下操作均在hadoop101：

  1. 使用 yum 安装Kerberos Server的套件
yum install -y krb5-libs krb5-server krb5-workstation
  1. 配置 /etc/krb5.conf
vim /etc/krb5.conf

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_kdc = false
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
 default_realm = KANG.COM
 default_ccache_name = KEYRING:persistent:%{uid}

[realms]
 KANG.COM = {
  kdc = hadoop101.kang.com
  admin_server = hadoop101.kang.com
 }

[domain_realm]
 .kang.com = KANG.COM
 kang.com = KANG.COM

需要修改的地方：
在这里插入图片描述

名词讲解：
realm 域：表示一个公司或者一个组织。逻辑上的授权认证范围
比如，某个认证账户是属于某个域下的，跨域账户不通用域和FQDN的配置很像，使用大写，本次演示使用KANG.COM 来标记域
其中：
logging 块配置日志相关
libdefaults块配置默认的设置，包括ticket的生存周期等
realms 是域的配置，可以配置多个realm，本次演示只配置一个 即是 KANG.COM
domain_realm 是 Kerberos内的域 和 主机名的域的一个对应关系
.kang.com 类似 *.kang.com 表示如hadoop101.kang.com 等均是KANG.COM 这个realm
kang.com 表示 kang.com 这个主机名也是 KANG.COM 这个realm的一部分

  1. 配置 /var/kerberos/krb5kdc/kdc.conf
vim /var/kerberos/krb5kdc/kdc.conf

[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 KANG.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }

这里只需要修改
在这里插入图片描述
名词解释：
acl_file : Kerberos acl 的一些配置对应的文件
kerberos : admin账户的 keytab 本地路径
keytab : 登录凭证，有了这个相当于直接有了 ticket ， 可以免密直接登录某个账户，所以这个文件很重要

  1. 配置 /var/kerberos/krb5kdc/kadm5.acl
vim /var/kerberos/krb5kdc/kadm5.acl

*/admin@KANG.COM        *

其中 */admin 是Kerberos中的账户形式
最后的 * 表示 符合 */admin的账户拥有所有权限
这一步也就是配置了admin的规则 如 admin/ admin@KANG.COM 就拥有KANG.COM 域内的全部权限

  1. 初始化Kerberos的数据库
kdb5_util create -s -r KANG.COM

然后命令要求设置数据库master的密码，要求输入两次，输入 krb5kdc 即可

  1. 创建 KANG.COM 域内的管理员
#执行：kadmin.local 进入 kerberos 的 admin 命令行界面
[root@hadoop101 ~]# kadmin.local
Authenticating as principal root/admin@KANG.COM with password.
#输入如下内容，添加一个用户
kadmin.local:  addprinc admin/admin@KANG.COM
#查看所有用户
kadmin.local:  listprincs
K/M@KANG.COM
admin/admin@KANG.COM
kadmin/admin@KANG.COM
kadmin/changepw@KANG.COM
kadmin/hadoop101.kang.com@KANG.COM
kiprop/hadoop101.kang.com@KANG.COM
krbtgt/KANG.COM@KANG.COM
kadmin.local:
#删掉用户用delprinc
  1. 重启Kerberos server的组件并设置开机自启
service krb5kdc restart
service kadmin restart
chkconfig krb5kdc on
chkconfig kadmin on
  1. 测试登录超级用户admin/admin@KANG.COM
[root@hadoop101 ~]# klist
klist: Credentials cache keyring 'persistent:0:0' not found
#登录用户admin/admin@KANG.COM
[root@hadoop101 ~]# kinit admin/admin@KANG.COM
Password for admin/admin@KANG.COM:
[root@hadoop101 ~]# klist
Ticket cache: KEYRING:persistent:0:0
Default principal: `admin/admin@KANG.COM`

Valid starting       Expires              Service principal
11/11/2021 22:50:18  11/12/2021 22:50:18  krbtgt/KANG.COM@KANG.COM

搭建Kerberos 客户端

  1. 在所有节点均执行：
yum -y install krb5-libs krb5-workstation
  1. 从server机器将 /etc/krb5.conf 复制到各个客户端同样的位置
[root@hadoop101 ~]# scp /etc/krb5.conf hadoop102:/etc/
krb5.conf                                                                                   100%  647   745.0KB/s   00:00
[root@hadoop101 ~]# scp /etc/krb5.conf hadoop103:/etc/
krb5.conf                                                                                   100%  647   887.3KB/s   00:00
  1. 测试登录admin
[root@hadoop102 ~]# kinit admin/admin@KANG.COM
Password for admin/admin@KANG.COM:
[root@hadoop102 ~]# klist
Ticket cache: KEYRING:persistent:0:0
Default principal: admin/admin@KANG.COM

Valid starting       Expires              Service principal
11/11/2021 22:56:45  11/12/2021 22:56:45  krbtgt/KANG.COM@KANG.COM
  1. 此时，客户端配置完成

二、ambari集成Kerberos

确保已经安装好了KDC并且在所有集群都安装了JCE（但是有的文档说jdk1.6以上不用安装，所以我没有安装）。

  1. 打开并登陆ambari web。并在浏览器主页面选择Kerberos。

  2. 点击 “Enable Kerberos”进入安装向导。

  3. 选择正在使用的KDC类型，并确认已满足先决条件。

  4. 提供有关KDC和管理员帐户的信息

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里会有一个报错：Error message: Error occured during stack advisor command invocation: Cannot create /var/run/ambari-server/stack-recommendations
在说没有权限创建/var/run/ambari-server/stack-recommendations，解决办法是将目录/var/run/ambari-server/及子目录权限都赋予777权限：

chmod 777 -R /var/run/ambari-server/

在这里插入图片描述
先别着急进行下一步，展开Advanced krb5-conf部分并取消选中“Manage Kerberos client krb5.conf”选项
选中否则会在下一步报错：Error message: Failed to find a KDC for the specified realm - Couldn't open log file /var/log/kadmin
所以选中（即是手动管理rb5.conf）时，在/etc/krb5.conf中添加如下：

手动管理krb5.conf时，建议确保DNS不用于查找KDC和REALM条目。 依赖DNS可能会导致负面性能和功能影响。 要确保不使用DNS，请确保在配置的libdefaults部分中设置以下条目。

[libdefaults]
dns_lookup_kdc = false
dns_lookup_realm = false

在这里插入图片描述

  1. 进行安装
    在这里插入图片描述

  2. 自定义Hadoop使用的Kerberos标识，然后继续对集群进行kerberize。
    在这里插入图片描述

  3. 点击下一步，可以选择下载ambari自动创建的principals和keytabs。
    在这里插入图片描述

  4. 停止服务
    在这里插入图片描述

  5. 启用 Kerberos 向导
    在这里插入图片描述
    此时会报错，百度之后查询是因为权限的问题，所有在主节点hadoop101上执行如下

[root@hadoop101 ~]# echo "ambari   ALL=(root) NOPASSWD:ALL" >> /etc/sudoers

重跑此步骤（点retry），即可可通过
在这里插入图片描述

  1. 启动和测试服务
    在这里插入图片描述
    等待一段时间后（有报错，是因为内存不够用）：
    在这里插入图片描述

三、测试：

未登录用户时：

#销毁票据
[root@hadoop101 ~]# kdestroy
#登录hbase shell
[root@hadoop101 ~]# hbase shell
#查看登录用户
hbase(main):002:0> whoami
root (auth:SIMPLE)
    groups: root
#查看表
hbase(main):003:0> list
TABLE
`ERROR`: Can not send request because relogin is in progress.
For usage try 'help "list"'
Took 8.2048 seconds

#创建表
hbase(main):001:0> create 'tt','tinfo','twork'
#报错，因为没有认证
`ERROR`: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)

For usage try 'help "create"'

Took 8.6217 seconds

票据认证之后：

#验证票据
[root@hadoop101 ~]# kinit -kt /etc/security/keytabs/hbase.headless.keytab hbase-kk@KANG.COM
#登录hbase shell
[root@hadoop101 ~]# hbase shell
#查看所有表
hbase(main):001:0> list
TABLE
Student
teacher
test-table
3 row(s)
Took 0.5976 seconds
=> ["Student", "teacher", "test-table"]
#创建表
hbase(main):002:0> create 'test','tinfo','twork'
Created table test
Took 1.3352 seconds
=> Hbase::Table - test
#添加表内容信息
hbase(main):004:0> put 'test','0001','tinfo:name','kxq'
Took 0.1613 seconds
hbase(main):006:0> put  'test','0001','twork:add','beijing'
Took 0.0158 seconds
#查看表内容
hbase(main):008:0> scan 'test'
ROW                                                  COLUMN+CELL
 0001                                                column=tinfo:name, timestamp=1636703545576, value=kxq
 0001                                                column=twork:add, timestamp=1636703585530, value=beijing
1 row(s)
Took 0.0615 seconds
#查看表内容
hbase(main):009:0> get 'test','0001'
COLUMN                                               CELL
 tinfo:name                                          timestamp=1636703545576, value=kxq
 twork:add                                           timestamp=1636703585530, value=beijing
1 row(s)
Took 0.0356 seconds
小二来碗面
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
ambari1.4.4安装指南
03-14
最全面的ambari1.4.4图文安装指南!最全面的ambari1.4.4图文安装指南!
Ambari下开启Kerberos使用kafka对接OGG数据
qq_27516311的博客
03-06 1363
软件安装环境 组件 版本 源端OGG 12.3.0.1.4 目标端OGG 12.3.0.1.2 Ambari HDP-2.6.4.0 Kerberos 1.10.3-10 kafka 0.10.1 zookeeper 3.4.6 一. Ambari下开启Kerberos使用kafka 一般对于新加入分布式系统的组件开启Ker...
大数据实战：Ambari开发手册之OpenTSDB快速集成技巧
涤生大数据
02-01 947
用于描述这个服务，服务的组件和管理脚本用于执行命令。一个组件的服务可以是MASTER,SLAVE或CLIENT类别。这个<category>告诉Ambari默认命令应该用于管理和监控组件。为每个组件指定<commandScript >执行命令时使用。有一个默认命令定义组件必须支持。
ambari开启kerberos
warrah 南极狼
01-23 841
网上一些跟Ambari启用Kerberos，看似很简单，但实际按照这个配置，遇到的问题连解决方案都不好找。启用了kerberos，想要也没有那么简单，ambari关闭kerberos，大数据集群起都起不来，因为有些内容还得手工删除，真是骑虎难下。我之前开启了ranger，比较简单。后来想着kerberos也一样，于是也起来，结果发现安全模式下，会更改ambari的一些配置，导致一堆报错 Remove ats-hbase before switching between clusters，出了问题找这篇文章，
Ambari启动kerberos认证
小慌慌的博客
09-08 515
1、在每台服务器上安装Kerberos yum install krb5-server krb5-libs krb5-workstation 2、修改配置文件： （1）vi /etc/krb5.conf(admin_server和kdc要配主机名不能配IP) （2）vi /var/kerberos/krb5kdc/kdc.conf （3）vi /var/kerberos/krb5kdc/kadm5.acl 3、创建kerberos数据库 输入两次密码(自定义) ...
Hadoop生态圈-开启Ambari的Kerberos安全选项
weixin_34344677的博客
12-13 424
　　　　　　　　　　　　　　Hadoop生态圈-开启Ambari的Kerberos安全选项 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰  版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　在完成IPA-Server服务的安装之后，我们已经了解了他提供的基础功能和服务，领略了其Web控制台和CLI接口的便利性，但是这写特性好像并没有提示平...
【Ambari】开启Kerberos安全认证
康师傅没有眼泪
05-27 2722
一个 User 或者一个 Service 会用 Principal 到 认证服务器（AS）认证，AS会返回一个用 Principal Key 加密的 TGT（票据授权票据），这时候只有 AS 和 Principal 的使用者可以识别该TGT，User 或者 Service 会使用 Principal 的 Key 来解密 TGT， 并使用解密后的 TGT 去TGS 获取 Service Ticket。在 Kerberos 认证的集群中，只有拿着这个 Service Ticket 才可以访问真正的 Se
ambari启用kerberos
jzy3711的博客
10-03 2418
我这里测试集群，自定义安装了flink，hue，ES，presto等，应在未安装之前启用kerberos，因为amabri是不支持这个自定义kerberos的，需要自己在自定义是配置，或者后期添加配置，我这里是直接先停停掉，在安装的，但是测试集群很多人再用，停止前要和大家商量好。公司的测试集群是amabri安装的，HDP3.1.4版本，前面已经安装好了kerberos主从，现在要在集群上开启kerberos认证。集成kerberos后，kafka访问方式：（必须使用主机名，如果是ip会报错）
在Ambari上添加Kerberos
a13568hki的博客
11-01 788
归作者所有：来自51CTO博客作者一语成谶灬的原创作品，请联系作者获取转载授权，否则将追究法律责任。#以上需要在服务端和客户端都配置，可以在服务端配置好以后使用scp拷贝。10、新增用户（add_principal USER）删除用户（delete_principal）三、 在Ambari上添加kerberos。4.在服务端安装krb5-server。在Ambari上添加Kerberos。1.创建kerberos数据库。4.启动服务和设置开机自启。1.开启Kerberos。1.下载jce并解压。
hbase kerberos认证无法自动续约问题
ITbasketplayer的专栏
03-23 2002
一、背景服务运行一段时间后(大概7天)，hbase写入和读取报错，错误描述为：重试次数耗尽，原因是因为正在重新认证且失败了，不能接受请求。之前同事是使用crontab定时重启临时解决，自己刚好有空帮忙看看。org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=2, exceptions: Tu...
【可视化工具】kafka-manager配置及安装Kerberos(Ambari-HDP)认证
康师傅没有眼泪
03-20 1607
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager（已改名为 cmak）。 这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。
Ambari集成flink1.9.3
05-15
Ambari集成flink1.9.3+大数据+ambari集成插件
Ambari 集成 presto.docx
11-09
Ambari 集成 presto.docx
[Ambari]==Ambari+Hadoop3集成impala3.2、kudu1.10.0
11-26
ambari2.7.5集成HDP3,本身不带impala、kudu 故集成cloudera的impala、kudu安装方式 ambari插件安装方式。 解压放到/var/lib/ambari-server/resources/stacks/HDP/3.1/services/下
Ambari集成DS1.3.9.pdf
11-09
Ambari集成DS1.3.9.pdf
大数据:基于Docker离线部署2.7.4版本ambari及启用kerberos安全认证(物理机同理)
03-17
1.离线部署ambari 2.7.4及HDP大数据组件服务(提供离线wangpan资源） 2.基于Docker部署(物理机部署同理) 3.开启kerberos权限认证服务，并提供相关Demo 4.支持HDFS、Spark、Yarn、MapReduce、Hive、Pig、 HBase、...
国产开源ambari之DataSophon部署
JustinMars的博客
08-10 1450
datasophon部署 致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。
13 Linux实操篇-网络配置
qq_74289024的博客
04-23 1044
子网ip 与网关。
Linux多进程(五) 进程池 C++实现
最新发布
Lyajpunov的博客
04-26 800
进程池是一种并发编程模式，用于管理和重用多个处理任务的进程。它通常用于需要频繁创建和销毁进程的情况，以避免因此产生的开销。减少进程创建销毁的开销：避免频繁创建和销毁进程所带来的系统资源开销。提高系统响应速度：由于进程已经初始化并且一直保持在内存中，可以立即分配执行任务，减少了任务等待时间。控制资源使用：通过限制进程池中的进程数量，可以控制系统资源的使用情况，避免资源过度消耗。
ambari集成phoenix组件
07-08
在Ambari中集成Phoenix组件可以使得在HBase上执行SQL查询更加方便。 要在Ambari中集成Phoenix组件，可以按照以下步骤进行操作： 1. 在Ambari Server主机上安装Phoenix客户端软件包。 2. 确保HBase已经在Ambari中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值