[数仓]九、离线数仓（Kerberos用户认证）

墨尔本、晴

已于 2024-07-09 23:13:58 修改

阅读量604

点赞数 11

分类专栏：离线数仓文章标签：网络服务器运维

于 2024-07-09 00:40:38 首次发布

本文链接：https://blog.csdn.net/weixin_44428807/article/details/140281619

版权

第1章 Kerberos部署

1.1 Kerberos概述

1.1.1 什么是Kerberos

Kerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。

1.1.2 Kerberos术语

Kerberos中有以下一些概念需要了解：

1）KDC（Key Distribute Center）：密钥分发中心，负责存储用户信息，管理发放票据。

2）Realm：Kerberos所管理的一个领域或范围，称之为一个Realm。

3）Rrincipal：Kerberos所管理的一个用户或者一个服务，可以理解为Kerberos中保存的一个账号，其格式通常如下：primary/instance@realm

4）keytab：Kerberos中的用户认证，可通过密码或者密钥文件证明身份，keytab指密钥文件。

1.1.3 Kerberos认证原理

1.2 Kerberos安装

1.2.1 安装Kerberos相关服务

选择集群中的一台主机（hadoop102）作为Kerberos服务端，安装KDC，所有主机都需要部署Kerberos客户端。

服务端主机执行以下安装命令

[root@hadoop102 ~]# yum install -y krb5-server

客户端主机执行以下安装命令

[root@hadoop102 ~]# yum install -y krb5-workstation krb5-libs
[root@hadoop103 ~]# yum install -y krb5-workstation krb5-libs
[root@hadoop104 ~]# yum install -y krb5-workstation krb5-libs

1.2.2 修改配置文件

1.服务端主机（hadoop102）

修改/var/kerberos/krb5kdc/kdc.conf文件，内容如下

[root@hadoop102 ~]# vim /var/kerberos/krb5kdc/kdc.conf
修改如下内容

[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 EXAMPLE.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }

2.客户端主机（所有主机）

修改/etc/krb5.conf文件

[root@hadoop102 ~]# vim /etc/krb5.conf
[root@hadoop103 ~]# vim /etc/krb5.conf
[root@hadoop104 ~]# vim /etc/krb5.conf

内容如下

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
 default_realm = EXAMPLE.COM
 #default_ccache_name = KEYRING:persistent:%{uid}

[realms]
 EXAMPLE.COM = {
  kdc = hadoop102
  admin_server = hadoop102
 }
[domain_realm]
# .example.com = EXAMPLE.COM
# example.com = EXAMPLE.COM

1.2.3 初始化KDC数据库

在服务端主机（hadoop102）执行以下命令，并根据提示输入密码。

[root@hadoop102 ~]# kdb5_util create -s

1.2.4 修改管理员权限配置文件

在服务端主机（hadoop102）修改/var/kerberos/krb5kdc/kadm5.acl文件，内容如下

*/admin@EXAMPLE.COM     *

1.2.5 启动Kerberos相关服务

在主节点（hadoop102）启动KDC，并配置开机自启
[root@hadoop102 ~]# systemctl start krb5kdc
[root@hadoop102 ~]# systemctl enable krb5kdc

在主节点（hadoop102）启动Kadmin，该服务为KDC数据库访问入口

[root@hadoop102 ~]# systemctl start kadmin
[root@hadoop102 ~]# systemctl enable kadmin

1.2.6 创建Kerberos管理员用户

在KDC所在主机（hadoop102），执行以下命令，并按照提示输入密码
[root@hadoop102 ~]# kadmin.local -q "addprinc admin/admin"

1.3 Kerberos使用概述

1.3.1 Kerberos数据库操作

1.登录数据库

1）本地登录（无需认证）

[root@hadoop102 ~]# kadmin.local

Authenticating as principal root/admin@EXAMPLE.COM with password.
kadmin.local:

2）远程登录（需进行主体认证，认证操作见下文）

[root@hadoop102 ~]# kadmin

Authenticating as principal admin/admin@EXAMPLE.COM with password.
Password for admin/admin@EXAMPLE.COM:
kadmin:

退出输入：exit

2.创建Kerberos主体

登录数据库，输入以下命令，并按照提示输入密码

kadmin.local: addprinc test

也可通过以下shell命令直接创建主体

[root@hadoop102 ~]# kadmin.local -q"addprinc test"

3.修改主体密码

kadmin.local :cpw test

4.查看所有主体

kadmin.local: list_principals
K/M@EXAMPLE.COM
admin/admin@EXAMPLE.COM
kadmin/admin@EXAMPLE.COM
kadmin/changepw@EXAMPLE.COM
kadmin/hadoop105@EXAMPLE.COM
kiprop/hadoop105@EXAMPLE.COM
krbtgt/EXAMPLE.COM@EXAMPLE.COM

1.3.2 Kerberos认证操作

1.密码认证

1）使用kinit进行主体认证，并按照提示输入密码

[root@hadoop102 ~]# kinit test
Password for test@EXAMPLE.COM:

2）查看认证凭证

[root@hadoop102 ~]# klist 
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: test@EXAMPLE.COM

Valid starting       Expires              Service principal
10/27/2019 18:23:57  10/28/2019 18:23:57  krbtgt/EXAMPLE.COM@EXAMPLE.COM
	renew until 11/03/2019 18:23:57

2.密钥文件认证

1）生成主体test的keytab文件到指定目录/root/test.keytab

[root@hadoop102 ~]# kadmin.local -q "xst -norandkey -k /root/test.keytab test@EXAMPLE.COM"

注：-norandkey的作用是声明不随机生成密码，若不加该参数，会导致之前的密码失效。

2）使用keytab进行认证

[root@hadoop102 ~]# kinit -kt /root/test.keytab test

3）查看认证凭证

[root@hadoop102 ~]# klist

Ticket cache: FILE:/tmp/krb5cc_0
Default principal: test@EXAMPLE.COM

Valid starting Expires Service principal
08/27/19 15:41:28 08/28/19 15:41:28 krbtgt/EXAMPLE.COM@EXAMPLE.COM
renew until 08/27/19 15:41:28

3.销毁凭证

[root@hadoop102 ~]# kdestroy
[root@hadoop102 ~]# klist
klist: No credentials cache found (ticket cache FILE:/tmp/krb5cc_0)

第2章创建Hadoop系统用户

为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和用户组。

User:Group	Daemons
hdfs:hadoop	NameNode, Secondary NameNode, JournalNode, DataNode
yarn:hadoop	ResourceManager, NodeManager
mapred:hadoop	MapReduce JobHistory Server

创建hadoop组

[root@hadoop102 ~]# groupadd hadoop
[root@hadoop103 ~]# groupadd hadoop
[root@hadoop104 ~]# groupadd hadoop

创建各用户并设置密码

[root@hadoop102 ~]# useradd hdfs -g hadoop
[root@hadoop102 ~]# echo hdfs | passwd --stdin  hdfs

[root@hadoop102 ~]# useradd yarn -g hadoop
[root@hadoop102 ~]# echo yarn | passwd --stdin yarn

[root@hadoop102 ~]# useradd mapred -g hadoop
[root@hadoop102 ~]# echo mapred | passwd --stdin mapred

[root@hadoop103 ~]# useradd hdfs -g hadoop
[root@hadoop103 ~]# echo hdfs | passwd --stdin  hdfs

[root@hadoop103 ~]# useradd yarn -g hadoop
[root@hadoop103 ~]# echo yarn | passwd --stdin yarn

[root@hadoop103 ~]# useradd mapred -g hadoop
[root@hadoop103 ~]# echo mapred | passwd --stdin mapred


[root@hadoop104 ~]# useradd hdfs -g hadoop
[root@hadoop104 ~]# echo hdfs | passwd --stdin  hdfs

[root@hadoop104 ~]# useradd yarn -g hadoop
[root@hadoop104 ~]# echo yarn | passwd --stdin yarn

[root@hadoop104 ~]# useradd mapred -g hadoop
[root@hadoop104 ~]# echo mapred | passwd --stdin mapred

第3章 Hadoop Kerberos配置

3.1 为Hadoop各服务创建Kerberos主体（Principal）

主体格式如下：ServiceName/HostName@REALM，例如 dn/hadoop102@EXAMPLE.COM

1.各服务所需主体如下

环境：3台节点，主机名分别为hadoop102，hadoop103，hadoop104

服务	所在主机	主体（Principal）
NameNode	hadoop102	nn/hadoop102
DataNode	hadoop102	dn/hadoop102
DataNode	hadoop103	dn/hadoop103
DataNode	hadoop104	dn/hadoop104
Secondary NameNode	hadoop104	sn/hadoop104
ResourceManager	hadoop103	rm/hadoop103
NodeManager	hadoop102	nm/hadoop102
NodeManager<