2个CDH 使用一个kerberos 和 LDAP

已于 2024-04-01 16:10:04 修改
阅读量226 收藏 4
点赞数 10
文章标签： cloudera 大数据 hdfs
于 2024-04-01 16:09:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingrootz/article/details/137236422
版权

集群说明：
【SSD集群1】
10.129.168.80
10.129.168.156
10.129.165.105
10.129.69.251

【SSD集群2】
10.129.160.24
10.129.160.13
10.129.160.46

开启认证CM的认证配置截屏，KDC server保持一致
在这里插入图片描述
可以在kerberos服务器查询所有的认证内容，筛选选其他hdfs相关的认证信息看到2个集群机器都在

[bx-16:06:13root@a2-test-kerberos-8-33 /root]
#kadmin.local -q "list_principals" | grep hdfs | grep data
hdfs/a2-test-datanode-16-20.sh@hadoop.com
hdfs/a2-test-datanode-16-21.sh@hadoop.com
hdfs/a2-test-datanode-16-22.sh@hadoop.com
hdfs/a2-test-datanode-20-14.sh@hadoop.com
hdfs/a2-test-datanode-20-17.sh@hadoop.com
hdfs/a2-test-datanode-32-34.sh@hadoop.com
hdfs/a2-test-datanode-64-154.sh@hadoop.com
hdfs/a2-test-datanode-vm-66-156.sh@hadoop.com
hdfs/b2-cm-datanode-22-220.sh@hadoop.com
hdfs/b2-test-datanode-18-244.sh@hadoop.com
hdfs/b2-test-datanode-22-151.sh@hadoop.com
hdfs/b2-test-datanode-22-63.sh@hadoop.com

（1）分别在2个集群服务器上查看认证kerberos和查询用户正常使用
SSD1集群

#id risk_user1                                                                                                                                                            
uid=90002(risk_user1) gid=30002(pt_group) groups=30002(pt_group)                                                                                                          
[bx-11:02:41root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#/usr/bin/kinit -k -t /home/admin/hadoop.keytab hadoop/admin                                                                                                              
[bx-11:03:28root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#klist                                                                                                                                                                    
Ticket cache: FILE:/home/admin/cache_file/krb5cc_0                                                                                                                        
Default principal: hadoop/admin@hadoop.com                                                                                                                                
                                                                                                                                                                            
Valid starting       Expires              Service principal                                                                                                               
03/22/2024 11:03:28  03/23/2024 11:03:28  krbtgt/hadoop.com@hadoop.com                                                                                                    
        renew until 03/29/2024 11:03:28                                                                                                                                   
[bx-11:03:30root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#hadoop fs -ls /                                                                                                                                                          
Found 3 items                                                                                                                                                             
drwxr-xr-x   - hadoop supergroup          0 2024-03-19 16:30 /system                                                                                                      
drwxrwxrwt   - hdfs   supergroup          0 2024-03-14 10:07 /tmp                                                                                                         
drwxr-xr-x   - hdfs   supergroup          0 2024-03-14 15:40 /user                                                                                                        
[bx-11:03:37root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#hive                                                                                                                                                                     
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0                                                                   
2024-03-22 11:04:55,315 WARN  [main] mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present.  Continuing without it.    
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0                                                                   
                                                                                                                                                                            
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/jars/hive-common-1.1.0-cdh5.8.0.jar!/hive-log4j.properties           
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.                                                                                                  
hive> show databases;                                                                                                                                                     
OK                                                                                                                                                                        
default                                                                                                                                                                   
ssb

SSD2集群

#hadoop fs -ls /                                                                                                                                                          
Found 3 items                                                                                                                                                             
drwxrwxrwt   - hdfs   supergroup          0 2024-03-21 16:51 /tmp                                                                                                         
drwxr-xr-x   - hdfs   supergroup          0 2024-03-21 16:51 /user                                                                                                        
drwxr-xr-x   - hadoop supergroup          0 2024-03-22 11:04 /zw02                                                                                                        
[bx-11:04:15root@a2-prod-datanode-160-46 /root]                                                                                                                           
#id risk_user1                                                                                                                                                            
uid=90002(risk_user1) gid=30002(pt_group) groups=30002(pt_group)                                                                                                          
[bx-11:09:05root@a2-prod-datanode-160-46 /root]                                                                                                                           
#hadoop fs -ls /                                                                                                                                                          
Found 3 items                                                                                                                                                             
drwxrwxrwt   - hdfs   supergroup          0 2024-03-21 16:51 /tmp                                                                                                         
drwxr-xr-x   - hdfs   supergroup          0 2024-03-21 16:51 /user                                                                                                        
drwxr-xr-x   - hadoop supergroup          0 2024-03-22 11:04 /zw02                                                                                                        
[bx-11:09:09root@a2-prod-datanode-160-46 /root]                                                                                                                           
#hive                                                                                                                                                                     
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0                                                                   
2024-03-22 11:09:13,213 WARN  [main] mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present.  Continuing without it.    
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0                                                                   
                                                                                                                                                                            
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/jars/hive-common-1.1.0-cdh5.8.0.jar!/hive-log4j.properties           
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.                                                                                                  
hive> show databases;                                                                                                                                                     
OK                                                                                                                                                                        
default                                                                                                                                                                   
zw02

（2）hadoop client访问测试hdfs集群
SSD2集群

[bx-11:02:47root@a2-prod-datanode-160-24 /etc/ansible/roles/ldap-client]                                                                                                  
#hadoop fs -ls hdfs://a2-prod-buffer-165-105.sh:8020/                                                                                                                     
Found 3 items                                                                                                                                                             
drwxr-xr-x   - hadoop supergroup          0 2024-03-19 16:30 hdfs://a2-prod-buffer-165-105.sh:8020/system                                                                 
drwxrwxrwt   - hdfs   supergroup          0 2024-03-14 10:07 hdfs://a2-prod-buffer-165-105.sh:8020/tmp                                                                    
drwxr-xr-x   - hdfs   supergroup          0 2024-03-14 15:40 hdfs://a2-prod-buffer-165-105.sh:8020/user                                                                   
[bx-11:16:43root@a2-prod-datanode-160-24 /etc/ansible/roles/ldap-client]                                                                                                  
#hadoop fs -ls hdfs://test2nameservice/                                                                                                                                   
Found 3 items                                                                                                                                                             
drwxrwxrwt   - hdfs   supergroup          0 2024-03-21 16:51 hdfs://test2nameservice/tmp                                                                                  
drwxr-xr-x   - hdfs   supergroup          0 2024-03-21 16:51 hdfs://test2nameservice/user                                                                                 
drwxr-xr-x   - hadoop supergroup          0 2024-03-22 11:04 hdfs://test2nameservice/zw02

SSD1集群

[bx-11:15:54root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#hadoop fs -ls hdfs://a2-prod-buffer-165-105.sh:8020/                                                                                                                     
Found 3 items                                                                                                                                                             
drwxr-xr-x   - hadoop supergroup          0 2024-03-19 16:30 hdfs://a2-prod-buffer-165-105.sh:8020/system                                                                 
drwxrwxrwt   - hdfs   supergroup          0 2024-03-14 10:07 hdfs://a2-prod-buffer-165-105.sh:8020/tmp                                                                    
drwxr-xr-x   - hdfs   supergroup          0 2024-03-14 15:40 hdfs://a2-prod-buffer-165-105.sh:8020/user                                                                   
[bx-11:16:00root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#hadoop fs -ls hdfs://test2nameservice/                                                                                                                                   
-ls: java.net.UnknownHostException: test2nameservice                                                                                                                      
Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [ ...]                                                                                                        
[bx-11:16:13root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#hadoop fs -ls hdfs://a2-prod-datanode-160-24.sh:8020/                                                                                                                    
Found 3 items                                                                                                                                                             
drwxrwxrwt   - hdfs   supergroup          0 2024-03-21 16:51 hdfs://a2-prod-datanode-160-24.sh:8020/tmp                                                                   
drwxr-xr-x   - hdfs   supergroup          0 2024-03-21 16:51 hdfs://a2-prod-datanode-160-24.sh:8020/user                                                                  
drwxr-xr-x   - hadoop supergroup          0 2024-03-22 11:04 hdfs://a2-prod-datanode-160-24.sh:8020/zw02

可以跨机房访问不同集群，访问使用需要写具体namenode地址（hostname:port方式），如果使用nameserver访问无法跨机房访问。

（3）在LDAP创建新用户验证集群的使用
在这里插入图片描述
查看用户是否正常

####SSD2
[bx-17:36:41root@a2-prod-datanode-160-46 /root]                                                                                                                           
#id zw11                                                                                                                                                                  
uid=1000(zw11) gid=500(zw11) groups=500(zw11)
  
####SSD1
a2-buffer-server-168-156.sh[bx-17:39:43root@a2-buffer-server-168-156 /root]                                                                                               
#id zw11                                                                                                                                                                  
uid=1000(zw11) gid=500(zw11) groups=500(zw11)

在kerberos添加认证，并在client机器上使用用户名和密码认证。
SSD2集群测试

###创建Ldap认证的用户
[bx-17:36:45root@a2-prod-datanode-160-46 /root]                                                                                                                           
#kadmin.local -q "addprinc -pw zw11 zw11/zw11@hadoop.com"                                                                                                                 
Authenticating as principal hadoop/admin@hadoop.com with password.                                                                                                        
WARNING: no policy specified for zw11/zw11@hadoop.com; defaulting to no policy                                                                                            
Principal "zw11/zw11@hadoop.com" created.                                                                                                                                 
[bx-17:42:50root@a2-prod-datanode-160-46 /root]                                                                                                                           
#klist                                                                                                                                                                    
Ticket cache: FILE:/home/admin/cache_file/krb5cc_0                                                                                                                        
Default principal: hadoop/admin@hadoop.com                                                                                                                                
                                                                                                                                                                            
Valid starting       Expires              Service principal                                                                                                               
03/22/2024 09:03:08  03/23/2024 09:03:08  krbtgt/hadoop.com@hadoop.com                                                                                                    
        renew until 03/29/2024 09:03:08 
  
####切换认证用户                                                                                                                                 
[bx-17:43:27root@a2-prod-datanode-160-46 /root]                                                                                                                           
#/usr/bin/expect /script/login/login_kdc.sh zw11/zw11 zw11                                                                                                                
spawn /usr/bin/kinit zw11/zw11                                                                                                                                            
Password for zw11/zw11@hadoop.com:                                                                                                                                        
[bx-17:44:02root@a2-prod-datanode-160-46 /root]                                                                                                                           
#klist                                                                                                                                                                    
Ticket cache: FILE:/home/admin/cache_file/krb5cc_0                                                                                                                        
Default principal: zw11/zw11@hadoop.com                                                                                                                                   
                                                                                                                                                                            
Valid starting       Expires              Service principal                                                                                                               
03/25/2024 17:44:02  03/26/2024 17:44:02  krbtgt/hadoop.com@hadoop.com                                                                                                    
        renew until 04/01/2024 17:44:02 
  
###查看hdfs数据验证用户                                                                                                                                 
[bx-17:44:08root@a2-prod-datanode-160-46 /root]                                                                                                                           
#hadoop fs -ls /                                                                                                                                                          
Found 3 items                                                                                                                                                             
drwxrwxrwt   - hdfs   supergroup          0 2024-03-21 16:51 /tmp                                                                                                         
drwxr-xr-x   - hdfs   supergroup          0 2024-03-21 16:51 /user                                                                                                        
drwxr-xr-x   - hadoop supergroup          0 2024-03-22 11:04 /zw02

SSD1集群测试

[bx-17:39:45root@a2-buffer-server-168-156 /root]                                                                                                                          
#klist                                                                                                                                                                    
klist: No credentials cache found (filename: /home/admin/cache_file/krb5cc_0)                                                                                             
[bx-17:47:22root@a2-buffer-server-168-156 /root]                                                                                                                          
#/usr/bin/expect /script/login/login_kdc.sh zw11/zw11 zw11                                                                                                                
spawn /usr/bin/kinit zw11/zw11                                                                                                                                            
Password for zw11/zw11@hadoop.com:                                                                                                                                        
[bx-17:47:36root@a2-buffer-server-168-156 /root]                                                                                                                          
#klist                                                                                                                                                                    
Ticket cache: FILE:/home/admin/cache_file/krb5cc_0                                                                                                                        
Default principal: zw11/zw11@hadoop.com                                                                                                                                   
                                                                                                                                                                            
Valid starting       Expires              Service principal                                                                                                               
03/25/2024 17:47:36  03/26/2024 17:47:36  krbtgt/hadoop.com@hadoop.com                                                                                                    
        renew until 04/01/2024 17:47:36                                                                                                                                   
[bx-17:47:39root@a2-buffer-server-168-156 /root]                                                                                                                          
#hadoop fs -ls /                                                                                                                                                          
Found 3 items                                                                                                                                                             
drwxr-xr-x   - hadoop supergroup          0 2024-03-19 16:30 /system                                                                                                      
drwxrwxrwt   - hdfs   supergroup          0 2024-03-14 10:07 /tmp                                                                                                         
drwxr-xr-x   - hdfs   supergroup          0 2024-03-14 15:40 /user

创建用户在2个CM集群都正常认证和使用。

clear_soul
关注
  • 10
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据平台CDH和Impala的使用
02-24
Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度...
CDH6.3.2 配置LDAP+kerberos
h952520296的博客
04-08 2491
本文主要记录 cdhhadoop集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般由Sentry来决定的。 集群包括7个节点，每个节点的ip、主机名和部署的组件分配如下： 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.201 slave1 kerberos client、ldap client 192.168.0.202 s..
CDH6 配置LDAP，Kerberos，Sentry
weixin_40004348的博客
10-14 2354
CDH6 配置LDAP，Kerberos，Sentry 1. 开启Sentry 控制Hive，Hue，Impala权限 1.1 在mysql中配置数据库 [root@cdh1 ~]# mysql -uroot -p //登陆mysql mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8; //创建sentry库 mysql> grant all on sentry.* to 'sentry'@'%' identified
2个CDH 使用一个kerberos 和 LDAP，2024年最新大数据开发研发岗面试复盘总结
2401_84166278的博客
04-16 525
份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**(img-c8Blgeo3-1713268176708)]###创建Ldap认证的用户。
CDH集群启用Sentry Kerberos LDAP
小陌成长之路
04-14 718
CDH集群启用Sentry Kerberos LDAP
CDH_5.15.1开启kerberos认证.docx
04-17
CDH5.15.1开启kerberos，开启kerberos之后kafka的配置及命令操作。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。...
CDH集群手动安装Kerberos完整流程
11-13
本文档详细简绍了，如何手动给CDH集群安装Kerberos服务的详细步骤，避免大家采坑，亲自尝试过的，希望对大家有帮助，关键词：Kerberos CDH Kerberos CDH集群 Kerberos安装 CDH集群安装Kerberos
CDH开启Kerberos+Sentry权限控制-实施配置指南
12-02
CDH开启Kerberos+Sentry权限控制-实施配置指南,完整的详细教程
Cloudera简介和安装部署
DYFdingyifei的博客
05-08 558
Cloudera Enterprise是一套基于Hadoop的企业级大数据解决方案，提供了一系列工具和服务，帮助企业实现数据的存储、处理和分析。在安装部署Cloudera时，需要选择合适的操作系统和硬件环境，安装和配置Cloudera Manager，部署CDH，配置和管理Hadoop集群，安装和配置其他组件和服务，测试和优化集群性能。安装和配置这些组件和服务时，需要考虑到集群的需求和性能要求。第六步：测试和优化集群性能。这包括测试集群的读写性能、调整集群的资源分配和调度策略、优化集群的存储和网络性能等。
Cloudera简介与安装部署
qq_43341279的博客
05-08 988
CDP结合了开源大数据技术，如Apache Hadoop、Spark和Kafka，以及Cloudera的专有技术，提供了一个统一的数据平台，支持数据存储、处理、分析和可视化。Cloudera的主要产品是Cloudera Data Platform (CDP)，它提供了一个完整的大数据解决方案，包括数据存储、数据处理、数据分析和数据安全等功能。Cloudera作为大数据领域的领先厂商，其Cloudera Data Platform (CDP)提供了一个全面的数据管理和分析平台。
Cloudera的简介及安装部署
七夜的博客
05-08 754
Cloudera是一家位于美国的软件公司，成立于2008年，专注于为企业客户提供基于Apache Hadoop的软件、支持、服务以及培训。Cloudera的开源Apache Hadoop发行版，即Cloudera Distribution including Apache Hadoop（CDH），是面向Hadoop企业级部署的。2018年10月，Cloudera与Hortonworks公司宣布以52亿美元的价格合并，这两家公司都是基于开源平台的。
【仿RabbitMQ消息队列项目day2】使用muduo库中基于protobuf的应用层协议进行通信
最新发布
weixin_74113106的博客
05-21 743
使用muduo库中基于protobuf的应用层协议进行通信
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
m0_72717598的博客
05-16 263
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
工作中的相关问题
m0_49099215的博客
05-21 178
工作总结
计算机SCI期刊，IF=8+，专业性强，潜力新刊！
mshsci的博客
05-21 210
《大数据杂志》发表了关于数据科学和数据分析的开放获取原创研究。深度学习算法和大数据的所有应用都受到欢迎。还考虑了调查文件和案例研究。
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 336
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
Hive的“分区”
早拾碗吧的博客
05-15 473
【代码】Hive的“分区”
大数据概述
JAZJD的博客
05-16 689
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
使用CDH Manager 安装Kerberos服务——之初始化失败
05-24
如果在使用CDH Manager安装Kerberos服务时，初始化失败，可能是由于以下原因： 1. 主机名不正确：请确保您的主机名正确，并且在所有节点上正确配置了/etc/hosts文件。 2. 时间不同步：Kerberos需要确保所有节点的时间同步，否则会导致认证失败。请使用ntp服务同步所有节点的时间。 3. 安全端口被占用：请确保您的节点上没有其他进程正在使用Kerberos默认端口（88、749、464等）。 4. 网络故障：请确保所有节点之间的网络连接正常，可以互相ping通。 您可以通过查看日志文件来查找问题所在。在CDH Manager中，可以在“Kerberos”服务的“进程”选项卡中找到相关的日志信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值