CDH集群离线搭建(适用内网)——Kerberos安装配置及使用⑨

已于 2024-04-29 16:47:55 修改
阅读量999 收藏 10
点赞数 23
分类专栏： Hadoop 文章标签： hadoop 大数据 分布式
于 2024-03-13 13:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_red/article/details/136628860
版权

集群权限集成

1.Kerberos安装

1.1 在主节点cloud01安装

#在主节点cloud01安装
yum -y install krb5-server  krb5-workstation   #krb5-auth-dialog

1.2 全部节点操作

#全部节点操作
yum -y install  krb5-libs  krb5-workstation    #krb5-auth-dialog

1.3 所有节点安装sasl工具

#所有节点安装sasl工具，impala启用kerberos时需要sasl工具，如已安装请忽略
yum -y install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-md5

1.4 修改krb5.conf文件

#进入文件
vim /etc/krb5.conf
#注释掉如下行，打开会引起错误：[Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]

# default_ccache_name = KEYRING:persistent:%{uid}
#装在主节点
cp -n /etc/krb5.conf /etc/krb5.conf.bak && \
sed -i 's/#//g' /etc/krb5.conf && \
sed -i 's/EXAMPLE.COM/HADOOP.COM/g' /etc/krb5.conf && \
sed -i 's/kerberos.example.com/cloud01/g' /etc/krb5.conf && \
sed -i 's/example.com/cloud01/g' /etc/krb5.conf && \
sed -i 's/ default_ccache_name/# default_ccache_name/g' /etc/krb5.conf && \
sed -i 's/ Configuration/# Configuration/g' /etc/krb5.conf

# 查看修改前和修改后的文件对比
diff /etc/krb5.conf.bak /etc/krb5.conf

1.5 修改/var/kerberos/krb5kdc/kdc.conf文件

修改EXAMPLE.COM为自己公司的域名

cp -n /var/kerberos/krb5kdc/kdc.conf /var/kerberos/krb5kdc/kdc.conf.bak && \
sed -i 's/EXAMPLE.COM/HADOOP.COM/g' /var/kerberos/krb5kdc/kdc.conf

1.6 查看修改前和修改后的文件对比

# 查看修改前和修改后的文件对比
diff /var/kerberos/krb5kdc/kdc.conf.bak /var/kerberos/krb5kdc/kdc.conf

#并在文件中添加一下内容
max_renewable_life = 7d 0h 0m 0s

在这里插入图片描述

1.7 修改/var/kerberos/krb5kdc/kadm5.acl文件，修改EXAMPLE.COM为自己公司的域名。

cp -n /var/kerberos/krb5kdc/kadm5.acl /var/kerberos/krb5kdc/kadm5.acl.bak && \
sed -i 's/EXAMPLE.COM/HADOOP.COM/g' /var/kerberos/krb5kdc/kadm5.acl
diff /var/kerberos/krb5kdc/kadm5.acl.bak /var/kerberos/krb5kdc/kadm5.acl

1.8 配置kerberos服务

#配置kerberos服务
#在cloud01节点上，生成kerberos数据库，设置密码为：12345678
/usr/sbin/kdb5_util create -s

1.9 开启kerberos管理界面

#为cdh创建cloudera-scm/admin用户，设置密码为：12345678
# 开启kerberos管理界面
kadmin.local
   # 添加认证主体， 主体名： cloudera-scm/admin  密码： 12345678
   addprinc cloudera-scm/admin

   12345678

   12345678
   #查看用户
   listprincs
   # 退出kerberos管理界面
   exit

1.10 查看数据库文件

#查看数据库文件principal(自动生成的)
ll /var/kerberos/krb5kdc/

1.11 修改参数

#修改krbtgt/HADOOP.COM@HADOOP.COM的Maximum renewable life参数为90天（其默认值为0天）,解决在CDH启用kerberos时，Hue角色Kerberos Ticket Renewer启动异常问题

kadmin.local

   modprinc -maxrenewlife 90day krbtgt/HADOOP.COM@HADOOP.COM

   getprinc krbtgt/HADOOP.COM@HADOOP.COM

   exit

1.12 启动kerberos服务

#启动kerberos服务
systemctl start krb5kdc
systemctl start kadmin
systemctl status krb5kdc
systemctl status kadmin

1.13 从节点安装kerberos客户端软件

#从节点安装kerberos客户端软件
yum -y install krb5-libs krb5-workstation

1.14 从主节点复制配置文件到从节点

#从主节点复制配置文件到从节点
sh scp_all.sh /etc/krb5.conf /etc/
sh ssh_all.sh cat /etc/krb5.conf

1.15 kerberos认证测试

#kerberos认证测试
#客户端执行
#获取票据
kinit cloudera-scm/admin
   12345678
#查看票据
klist
#销毁票据
kdestroy

2.集成kerberos

在这里插入图片描述

全选

在这里插入图片描述

页面2，更改以下参数

KDC Type: MIT KDC

Kerberos Security Realm: HADOOP.COM

KDC Server Host: cloud01

KDC Admin Server Host: cloud01

Kerberos Encryption Types: rc4-hmac

Maximum Renewable Life for Principals: 5

在这里插入图片描述

页面3，不要勾选该项（Manage krb5.conf through Cloudera Manager），直接继续

在这里插入图片描述

页面4，cloudera-scm/admin账号、密码

cloudera-scm/admin

12345678

在这里插入图片描述

hdfs启用Kerberos

在这里插入图片描述

角色缺少 Kerberos Keytab。请运行“管理”->“安全”页面上的“Kerberos 凭据”选项卡中的“生成缺失凭据”命令。

在这里插入图片描述

停止hdfs和yarn，重新生成

在这里插入图片描述

3.kerberos使用

1. 进入管理界面

kadmin.local

2. 创建principal（认证主体）

使用管理员创建认证主体，即principal，principal由主体名@域名组成，域名一般都设置为公司的域名。

# 语法格式：
# addprinc -pw 密码 主体名@域名
# 创建hdfs认证主体
addprinc -pw hdfs hdfs@HADOOP.COM
# 创建hive 认证主体
addprinc -pw hive hive@HADOOP.COM
# 创建hbase 认证主体
addprinc -pw hbase hbase@HADOOP.COM

3. 生成keytab凭证

#得在根目录下有data目录
mkdir /data1
# 语法格式：
# xst -norandkey -k 主体文件生成位置 主体名

# 生成hdfs的keytab
xst -norandkey -k /data/hdfs.keytab hdfs
# 生成hive的keytab
xst -norandkey -k /data/hive.keytab hive
# 生成hbase的keytab
xst -norandkey -k /data/hbase.keytab hbase

exit


*****************************************************************************************
# 删除主体(该操作需要管理员用户才能执行，需要进入kadmin.local界面下操作)
kadmin.local
	delprinc '主体名'
#策略
add_policy policy1
modify_principal -policy policy1 hdfs@HADOOP.COM

addprinc -pw hdfs hdfs@HADOOP.COM
*****************************************************************************************

4. 认证方式

4.1 普通认证（用主体加密码的方式认证）
# 用主体加密码的方式认证
kinit hdfs
# 输入密码，即创建主体principal时-pw设置的密码
password
# 查看当前票据
klist
4.2keytab认证 （适合生产环境使用的方式认证）
# 适合生产环境使用
# 使用keytab认证 参数kt意义为keytab文件路径 后面接要认证的主体名，keytab文件要和主体名一致
kinit -kt /data/hdfs.keytab hdfs

# 查看当前票据
klist

Kerberos配置完成

上一篇
CDH集群离线搭建(适用内网)——impala高可用配置⑧

小戈爱学习
关注
  • 23
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kerberos搭建
弄潮大数据的博客
02-11 901
搭建Kerberos Server
CDH6.3.2离线安装部署下载
02-16
1、完整的CDH6.3.2离线安装包，包含CM6.3.1 2、离线安装部署文档
CDH集群手动安装Kerberos完整流程
11-13
本文档详细简绍了，如何手动给CDH集群安装Kerberos服务的详细步骤，避免大家采坑，亲自尝试过的，希望对大家有帮助，关键词：Kerberos CDH Kerberos CDH集群 Kerberos安装 CDH集群安装Kerberos
CDH6.2.0集群权限控制(一)-----Kerberos的安装与配置
hanli2020的博客
02-28 1490
标题相关版本信息： CDH版本：6.2.0 Linux版本：CentOS7.6
安全认证Kerberos详解
最新发布
Shawn的个人博客
04-16 1064
Kerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。
CDH集成Kerberos
qq_37243563的博客
08-19 747
一、安装Kerberos 1. 整体说明 软件版本 操作系统：CentOs 6.8 CDH版本：Hadoop 2.6.0-cdh5.9.0 JDK版本：jdk1.7.0_67-cloudera 运行用户：root 集群主机角色划分 sunmvm20 作为master节点，安装kerberos Server 其他节点作为slave节点，安装kerberos client 2. 配置h...
kerberos搭建
weixin_41939388的博客
04-28 704
kerberos认证搭建安装 一、Kerberos简介1.Kerberos2.Kerberos认证流程2.1客户端认证2.2服务授权2.3服务请求 3.kdc集群3.1安装包3.2术语 二、安装搭建1.服务器安装1.1安装命令1.2修改配置1.2.1修改KDC...
Kerberos使用
LYQ的博客
07-21 289
/usr/bin/ftp 文件传输协议程序 /usr/bin/kdestroy 销毁 Kerberos 票证 /usr/bin/kinit 获取并缓存 Kerberos 票证授予票证 /usr/bin/klist 显示当前的 Kerberos 票证 /usr/bin/kpasswd 更改 Kerberos 口令 ...
kerberos的离线安装，HA，以及hadoop，hive，hbase，zookeeper等服务开启kerberos
weixin_42728895的博客
02-24 1063
参考链接： http://121.196.149.225/2020/12/10/Kerberos%E8%AE%A4%E8%AF%81/#more https://www.jb51.net/article/94875.htm https://www.cnblogs.com/bainianminguo/p/12548334.html Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证 Kerberos认证 Kerberos是一种计算机网络授权协议，用来在非安全网络中
kerberos使用详解
snail_bing的博客
06-21 5707
准备环境 准备三台虚拟机，其中一台安装kerberos的KDC，另外两台安装kerberos的客户端，需要保证三台机器的主机名可以被解析。 主机名 ip 角色 hadoop01 192.168.24.100 KDC hadoop02 192.168.24.101 Client hadoop03 192.168.24.102 CLient 安装Kerberos KDC 在hadoop01上安装运行KDC，即安装krb5-server、krb5-libs和krb5-workstati
cdh6.3.1离线完整版（百度网盘下载）
08-04
CDH安装包
kerberos安装包
01-01
安装kerberos5时需要的rpm包，版本1.15.1-37.el7_6.x86_64。里面4个文件：krb5-libs-1.15.1-37.el7_6.x86_64.rpm；krb5-server-1.15.1-37.el7_6.x86_64.rpm；krb5-workstation-1.15.1-37.el7_6.x86_64.rpm；libkadm5-1.15.1-37.el7_6.x86_64.rpm
kerberos安装手册
11-12
kerberos安装手册，kerberos是一种安全验证服务组件。
LINUX下的kerberos的安装配置
05-05
kerberos是由mit开发的提供网络认证的系统。使用kerberos自己提供的ktelnetd、krlogind、krshd来替换传统的telnetd、rlogind、rshd服务。
CDH5离线安装和配置指南
08-23
CDH (Cloudera's Distribution, including ...Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
CDH5.12离线搭建教程详解版
08-06
centos下cdh离线搭建详细过程，一些搭建过程中的小坑均有介绍
Kerberos 的安装和使用
u011250186的博客
11-25 3714
Kerberos 的安装和使用
Kerberos
啊浪的博客
03-11 1157
简介 Kerberos是不依赖信道安全的，但需要有一个公认可信赖的第三方的网络认证协议。可用于防止窃听、防止重放、保护数据完整性等场合。它在很多登录鉴权场景上被使用。 关键字 Authentication Server 认证服务器（AS） Ticket Granting Server 票据授权服务器（TGS） 大大票：客户端加密组装的包含自身身份信息的票据，一般是用户密码的...
用户认证-Kerberos的介绍和使用(Hadoop、Hive、数仓流程、Presto、Kylin集成配置)
迷雾总会解
06-14 2015
Kerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。（1）登录数据库本地登录（无需认证）远程登录（需进行主体认证，认证操作见下文）
使用CDH Manager 安装Kerberos服务——之初始化失败
05-24
如果在使用CDH Manager安装Kerberos服务时，初始化失败，可能是由于以下原因： 1. 主机名不正确：请确保您的主机名正确，并且在所有节点上正确配置了/etc/hosts文件。 2. 时间不同步：Kerberos需要确保所有节点的时间同步，否则会导致认证失败。请使用ntp服务同步所有节点的时间。 3. 安全端口被占用：请确保您的节点上没有其他进程正在使用Kerberos默认端口（88、749、464等）。 4. 网络故障：请确保所有节点之间的网络连接正常，可以互相ping通。 您可以通过查看日志文件来查找问题所在。在CDH Manager中，可以在“Kerberos”服务的“进程”选项卡中找到相关的日志信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值