CDH kerberos部署

已于 2022-11-24 09:43:29 修改
阅读量750 收藏 2
点赞数
文章标签： java big data 开发语言
于 2022-06-15 11:47:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kng_007/article/details/125293980
版权

前言：

  • 为什么需要Kerberos
    • Hadoop集群默认采用基于操作系统账号的Simple认证，基本没有安全性保证，用户只需在客户端的操作系统上建立一个同名账号，即可伪装成任何用户访问集群。
  • 什么是Kerberos
    • Kerberos是一个网络认证的框架协议，它的命名灵感来自于希腊神话中一只三头犬守护兽，寓意其拥有强大的保护能力。
    • Kerberos协议通过强大密钥系统为Server（服务端）和Client（客户端）应用程序之间提供强大的通信加密和认证服务。
    • 在使用Kerberos协议认证的集群中，Client不会直接和他的Server服务进行通信认证，而是通过KDC（key Distribution Center）这样一个独立的服务来完成互相之间的认证。同时Kerberos 还能将服务之间的全部通信进行加密以保证其隐私于完整性。
    • Kerberos由麻省理工学院创建，作为解决这些网络安全问题的解决方案。Kerberos协议使用强加密技术，以便客户端可以通过不安全的网络连接向服务器（反之亦然）证明其身份。在客户端和服务器使用Kerberos证明其身份后，他们还可以加密所有通信，以确保在业务开展时的隐私和数据完整性。
      详情请参考：https://web.mit.edu/kerberos/。
  • 本次kerberos部署文档基于uat环境进行，集群情况如下
192.168.0.201	uat-cm
192.168.3.21	uat-master-1
192.168.3.22	uat-master-2
192.168.0.198	uat-slave-1
192.168.0.200	uat-slave-2
192.168.0.199	uat-slave-3

一、kerberos服务部署

1.1、角色划分及服务安装：

  • kdc：uat-cm节点（单独一台机器只装kdc服务最安全）
    • yum install -y krb5-server
      yum install -y krb5-libs
      yum install -y krb5-workstation
  • kerberos client：cdh全部节点
    • yum install -y krb5-workstation

1.2、配置文件：

  • /etc/krb5.conf（全部节点保持一致）
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = TEST.COM
 dns_lookup_kdc = false
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 renewable = true
 forwardable = true
 rdns = false

[realms]
 TEST.COM = {
  kdc = uat-cm
  admin_server = uat-cm
  default_domain = TEST.com
 }

[domain_realm]
 .TEST.com = TEST.COM
 TEST.com = TEST.COM
  • /var/kerberos/krb5kdc/kadm5.acl（kdc节点）
*/admin@TEST.COM       *
  • /var/kerberos/krb5kdc/kdc.conf（kdc节点）
[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 TEST.COM = {
  #master_key_type = aes256-cts
  max_renewable_life=7d 0h 0m 0s
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }

1.3、⚠️其他系统配置

  • jce更新

    • 因为系统采用的是Centos7.6,对于使用Centos5.6及以上系统，默认采用 AES-256 来加密；这就需要CDH集群所有的节点都安装 Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File
    • 将解压后的 UnlimitedJCEPolicyJDK8 文件下的两个jar包 复制到 $JAVA_HOME/jre/lib/security/
    • 集群中$JAVA_HOME/jre/lib/security/目录下可能存在着两个jar包，用下面地址的jar包覆盖

  • ntp时间同步

    • 所有节点做时间同步，保持时区一直，由于使用阿里云ecs，这部分配置已做好

1.4、启动命令

  • 创建kerberos database

    # uat-cm节点，执行以下交互命令，配置密码
kdb5_util create -s -r TEST.COM

  • 添加database admin

    # uat-cm节点 执行以下交互命令，配置密码
kadmin.local -q "addprinc admin/admin"

  • 启动kdc server

    # uat-cm节点
service krb5kdc start
service kadmin start

  • 查看状态

    # uat-cm节点
systemctl status krb5kdc.services
systemctl status kadmin.services
    • 设置开机自启动
     # uat-cm节点
 chkconfig krb5kdc on
 chkconfig kadmin on

二、cdh配置kerberos认证

2.1、创建cdh admin用户

# uat-cm节点，后面cdh启用kerberos时，需要一个admin权限的账户
kadmin.local -q "addprinc cloudera-scm/admin"

2.2、cdh web界面启动kerberos

  • web界面启动kerberos相对简单，暂时没截图，后面补充
  • 中间有一步配置supported_enctypes，保持和/var/kerberos/krb5kdc/kdc.conf内容一致
  • kerberos配置后，会重启整个cdh里的组件，重启成功后，访问服务就需要kerberos认证

2.3、⚠️cdh组件配置

  • yarn组件： min.user.id 默认值为1000，设置为0，否则提交任务会报错id<1000

三、运行cdh组件

3.1、运行presto

  • /opt/servers/presto-server-0.184/etc/catalog/hive.properties 添加如下配置
#配置Presto访问HiveMetastore服务的Kerberos信息，该段配置可以只存在Presto的Coordinator节点
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=hive/_HOST@TEST.COM
hive.metastore.client.principal=hive@TEST.COM
hive.metastore.client.keytab=/etc/hadoop/conf/hive.keytab

#配置Presto访问HDFS的Kerberos信息，改段配置可以只存在Presto的Worker节点
hive.hdfs.authentication.type=KERBEROS
hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=hive@TEST.COM
hive.hdfs.presto.keytab=/etc/hadoop/conf/hive.keytab
  • 将上面配置文件下发到coordinator和worker节点
  • 重启coordinator和worker服务 /opt/servers/presto-server-0.184/bin/launcher restart
    3.2 运行spark、hive程序
  • uat-cm节点配置keytab
cd /var/kerberos/krb5kdc/
kadmin.local -q "addprinc -randkey hive"
kadmin.local -q "ktadd -k hive.keytab -norandkey hive"
  • 下发keytab到全部节点
scp /var/kerberos/krb5kdc/hive.keytab root@uat-cm:/etc/hadoop/conf/
scp /var/kerberos/krb5kdc/hive.keytab root@uat-master-1:/etc/hadoop/conf/
scp /var/kerberos/krb5kdc/hive.keytab root@uat-master-2:/etc/hadoop/conf/
scp /var/kerberos/krb5kdc/hive.keytab root@uat-slave-1:/etc/hadoop/conf/
scp /var/kerberos/krb5kdc/hive.keytab root@uat-slave-2:/etc/hadoop/conf/
scp /var/kerberos/krb5kdc/hive.keytab root@uat-slave-3:/etc/hadoop/conf/
  • 设置文件权限（有keytab就可以认证kerberos，保证特定用户才有读权限）
ssh root@uat-cm "chown hdfs:hadoop /etc/hadoop/conf/hive.keytab ; chmod 400 /etc/hadoop/conf/hive.keyta"
ssh root@uat-master-1 "chown hdfs:hadoop /etc/hadoop/conf/hive.keytab ; chmod 400 /etc/hadoop/conf/hive.keytab"
ssh root@uat-master-2 "chown hdfs:hadoop /etc/hadoop/conf/hive.keytab ; chmod 400 /etc/hadoop/conf/hive.keytab"
ssh root@uat-slave-1 "chown hdfs:hadoop /etc/hadoop/conf/hive.keytab ; chmod 400 /etc/hadoop/conf/hive.keyta"
ssh root@uat-slave-2 "chown hdfs:hadoop /etc/hadoop/conf/hive.keytab ; chmod 400 /etc/hadoop/conf/hive.keyta"
ssh root@uat-slave-3 "chown hdfs:hadoop /etc/hadoop/conf/hive.keytab ; chmod 400 /etc/hadoop/conf/hive.keyta"
  • 运行hive
   # kerberos 认证
   kinit -k -t /etc/hadoop/conf/hive.keytab hive@TEST.COM
   #执行hive sql
   hive -e "selct ...."
  • 运行spark
    • 方式1：
	spark2-submit \
	--keytab /etc/hadoop/conf/hive.keytab \
	--principal hive@TEST.COM \
	--master yarn\
	--deploy-mode cluster \
	--jars hdfs://nameservice1:8020/spark_libs/* \
	......
    • 方式2：
   # kerberos 认证
   kinit -k -t /etc/hadoop/conf/hive.keytab hive@TEST.COM
   #提交spark程序
   spark2-submit \
   --master yarn\
   --deploy-mode cluster \
   --jars hdfs://nameservice1:8020/spark_libs/* \
   .....
  • 其他组件认证大同小异，先认证或者通过指定keytab文件和principal

3.3、hdfs，yarn web认证

  • 本地机器安装krb5客户端程序（mac、windows）
  • 同步/etc/krb5/conf和hive.keytab文件到本地
  • 本地kinit 通过keytab文件认证，认证成功后，可以打开对应web页面

3.4、azkaban kerberos认证

  • shell命令添加kerberos认证
  • azkaban调度任务统一添加测试中

3.5、zeppelin

  • uat zeppelin 0.8 版本不支持kerberos认证（0.9支持），已使用自带user认证
  • notebook和conf目录由hdfs改为本地，不然web界面503，报错：org.apache.hadoop.security.AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]
  • 登陆用户zeppelin，root提交spark on yarn报错user not found，改为admin账户可运行

3.5、flume

TODO

四、kerberos命令

  • kinit
  • kdestroy
  • kadmin.local和kadmin
  • 待完善
桃子酱K
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH集群离线搭建(适用内网)——Kerberos安装配置及使用⑨
M_red的博客
03-13 999
修改/etc/krb5.conf文件修改/var/kerberos/krb5kdc/kdc.conf文件，修改EXAMPLE.COM为自己公司的域名。修改/var/kerberos/krb5kdc/kadm5.acl文件，修改EXAMPLE.COM为自己公司的域名。在cm界面开启Kerberos认证......
CDH hbase 开启kerberos
浮世尘
03-29 4664
1  CDH 开启kerberos 认证 ，详见： CDH官方文档 注意需要更新  $JAVA_HOME/jre/lib/security/ 下 local_policy.jar ， US_export_policy.jar 2 注意到hbase 需要访问zookeeper ，因此依赖于zookeeper 的sasl认证， 下面需要配置zookeeper  2.1  生成ke
Kerberos技术实践V1.0
super_chenzhou
08-07 724
Kerberos技术实践
CDH6安装kerberos（一）kerberos概念理解
独孤飞磊
11-30 1600
一. Kerberos概述 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 Hadoop使用Kerberos作为用户和服务的强身份验证和身份传播的基础。Kerberos是一种计算机网络认证协议，它允许某实体在非安
cdh+dolphinscheduler开启kerberos
SmellyKitty
01-30 1763
CDH 6.3.2 (Parcel)版本+dolphinscheduler 1.3.2版本开启kerberos服务流程
CDH6.2.0集群搭建详细教程（包含开启Kerberos与Sentry）
This is Yunis's blog!
08-22 3325
CDH6.2.0+Sentry+Kerberos安装过程记录文档 一、准备工作 1、本文环境 名称 CentOS JDK MySQL CM CDH 版本 7.9 1.8 5.7 6.2.0 6.2.0 2、集群规划 IP 主机名 角色 安装服务 内存 处理器 192.168.198.11 dtb-tc-app11 Master cloudera-scm-servercloudera-scm-agent 6G 4 192.168.198.12 dtb-tc-app12
HADOOP集成组件CDH安装部署详细教程
01-04
本教程将深入探讨如何在Linux系统上进行CDH的集成组件安装和部署。首先，我们需要理解分布式系统环境的基础配置，这通常涉及以下几个步骤： 1. **系统准备**：确保你的Linux服务器已经更新到最新版本，并且安装了...
Cloudera_5部署和教程
03-02
1. **部署准备**：在部署前，你需要确保硬件配置满足CDH的要求，包括足够的内存、CPU和磁盘空间。网络环境也需要进行适当的规划，确保所有节点间的通信畅通。 2. **安装Cloudera Manager**：下载Cloudera Manager...
适配CDH6.3.2的Spark3.2.2
08-16
4. **Kubernetes集成**：Spark3.2.2进一步增强了对Kubernetes的原生支持，使得用户可以直接在Kubernetes集群上部署和管理Spark作业，无需依赖于Mesos或YARN。 5. **资源管理**：Spark3.2.2优化了动态资源分配，降低...
CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署
07-13
《CDH安装手册》是大数据领域的一份重要参考资料，主要针对Hadoop的安装与部署进行详细阐述。CDH，全称Cloudera Distribution Including Apache Hadoop，是由Cloudera公司提供的一个开源大数据平台，它包含了多个...
Hadoop详细部署文档_部署在线文档
12-22
总结，部署Hadoop，尤其是带有认证与授权的CDH，需要对Hadoop家族的组件有深入理解，熟悉Kerberos和Sentry的配置，同时，具备良好的Linux运维技能和问题解决能力。通过详细阅读和实践，可以确保CDH的稳定运行和数据...
CDH基于Kerberos开启身份验证实践总结
CharlesYan的博客
08-02 343
Kerberos，一只守护在地狱之门外的三头犬
CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理
qq_53058639的博客
01-31 982
Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。kerberos主要负责平台用户的用户认证，sentry则负责数据的权限管理。（1）取消HiveServer2用户模拟。
CDH集群与Kerberos集成手册
qq_45360515的博客
10-18 2197
kerberos是由MIT开发的提供网络认证服务的系统。它可用来为网络上的各种server提供认证服务,使得口令不再是以明文方式在网络上传输，并且联接之间通讯是加密的。它和PKI认证的原理不一样，PKI使用公钥体制(不对称密码体制)，kerberos基于私钥体制(对称密码体制)。Kerberos称为可信的第三方验证协议,意味着它运行在独立于任何客户机或服务器的服务器之上。此名称来自看守地狱入口的三头犬。
CDH 6.2.0启用kerberos认证
weixin_45682234的博客
07-06 763
1. 整体说明 集群主机角色划分（cdh6.2.0（续）） n76.aa-data.cn作为master节点，安装kerberos Server 其他节点作为slave节点，安装kerberos client 2. 安装 Kerberos 在 n76.aa-data.cn上安装 krb5、krb5-server 和 krb5-client。 yum install krb5-server -y #klist等命令找不大时执行下面安装 yum install -y krb5-server krb5-works
大数据CDH平台介绍和部署说明
csdncrmn的博客
08-10 367
CDH（Cloudera Distribution of Hadoop）是 Cloudera 公司提供的一款基于 Hadoop 的大数据平台。它包含了多个开源组件，如 HDFS、YARN、Spark、Hive、Impala、HBase、Solr 等等，还提供了一些管理和监控工具来帮助用户更方便地部署、配置和管理大数据应用。
如何用CDH+Apache DolphinScheduler开启Kerberos
最新发布
Apache DolphinScheduler开源社区
02-28 657
如遇到某些命令没有权限或者无法通过TOKEN认证等问题，可以在kerberos服务主机上，创建对应的服务用户，进行keytab认证（参见上面用户认证流程），通过对应的服务认证，完成操作命令。在进行Apache DolphinScheduler安装时，主要在install_config.conf的配置，参见官网的配置流程即可，如果已经安装完成，可以修改common.properties的配置文件，这里主要说kerberos的配置部分，其他部分这里不赘述。资源存储选择的HDFS方式（这里其他配置参考官网）
CDH6.3.2中安装kylin4
刘寒的技术blog
04-02 2604
1、从kylin官网下载kylin4 因为看到版本4使用spark构建crub存与parquet中，更快更省更先进，且官网写支持cdh6 实际中kylin4要想跑起来还是很不顺利的 过程中还试验了kylin3，效果更差，启动都不行 2、选择1个kerberos认证过的用户，需要有hdfs权限？登录主机 配置kylin的整个目录的own和group都是这个用户（chgown） 配置kylin.propertes，修改其中mysql数据库的配置(前提是要安装好mysql，分配好库和用户权限等)
cdh集成Kerberos
08-25
在CDH中集成Kerberos是相对容易的，你需要先了解Kerberos的基本概念，然后准备一个可用的Kerberos服务器。在CDH的集群管理界面中选择启用Kerberos，然后按照向导的步骤进行配置即可。集成完成后，你需要进行Kerberos...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值