2个CDH 使用一个kerberos 和 LDAP，2024年最新大数据开发研发岗面试复盘总结

于 2024-04-16 19:50:47 发布
阅读量557 收藏 8
点赞数 15
分类专栏： 2024年程序员学习 文章标签： 大数据 面试 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166278/article/details/137837756
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

hdfs/b2-test-datanode-22-151.sh@hadoop.com
hdfs/b2-test-datanode-22-63.sh@hadoop.com


（1）分别在2个集群服务器上查看认证kerberos和查询用户正常使用  
 SSD1集群

#id risk_user1
uid=90002(risk_user1) gid=30002(pt_group) groups=30002(pt_group)
[bx-11:02:41root@a2-prod-buffer-165-105 /home/admin]
#/usr/bin/kinit -k -t /home/admin/hadoop.keytab hadoop/admin
[bx-11:03:28root@a2-prod-buffer-165-105 /home/admin]
#klist
Ticket cache: FILE:/home/admin/cache_file/krb5cc_0
Default principal: hadoop/admin@hadoop.com

Valid starting Expires Service principal
03/22/2024 11:03:28 03/23/2024 11:03:28 krbtgt/hadoop.com@hadoop.com
renew until 03/29/2024 11:03:28
[bx-11:03:30root@a2-prod-buffer-165-105 /home/admin]
#hadoop fs -ls /
Found 3 items
drwxr-xr-x - hadoop supergroup 0 2024-03-19 16:30 /system
drwxrwxrwt - hdfs supergroup 0 2024-03-14 10:07 /tmp
drwxr-xr-x - hdfs supergroup 0 2024-03-14 15:40 /user
[bx-11:03:37root@a2-prod-buffer-165-105 /home/admin]
#hive
Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
2024-03-22 11:04:55,315 WARN [main] mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present. Continuing without it.
Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0

Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/jars/hive-common-1.1.0-cdh5.8.0.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> show databases;
OK
default
ssb


SSD2集群

#hadoop fs -ls /
Found 3 items
drwxrwxrwt - hdfs supergroup 0 2024-03-21 16:51 /tmp
drwxr-xr-x - hdfs supergroup 0 2024-03-21 16:51 /user
drwxr-xr-x - hadoop supergroup 0 2024-03-22 11:04 /zw02
[bx-11:04:15root@a2-prod-datanode-160-46 /root]
#id risk_user1
uid=90002(risk_user1) gid=30002(pt_group) groups=30002(pt_group)
[bx-11:09:05root@a2-prod-datanode-160-46 /root]
#hadoop fs -ls /
Found 3 items
drwxrwxrwt - hdfs supergroup 0 2024-03-21 16:51 /tmp
drwxr-xr-x - hdfs supergroup 0 2024-03-21 16:51 /user
drwxr-xr-x - hadoop supergroup 0 2024-03-22 11:04 /zw02
[bx-11:09:09root@a2-prod-datanode-160-46 /root]
#hive
Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
2024-03-22 11:09:13,213 WARN [main] mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present. Continuing without it.
Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0

Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/jars/hive-common-1.1.0-cdh5.8.0.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> show databases;
OK
default
zw02


（2）hadoop client访问测试hdfs集群  
 SSD2集群

[bx-11:02:47root@a2-prod-datanode-160-24 /etc/ansible/roles/ldap-client]
#hadoop fs -ls hdfs://a2-prod-buffer-165-105.sh:8020/
Found 3 items
drwxr-xr-x - hadoop supergroup 0 2024-03-19 16:30 hdfs://a2-prod-buffer-165-105.sh:8020/system
drwxrwxrwt - hdfs supergroup 0 2024-03-14 10:07 hdfs://a2-prod-buffer-165-105.sh:8020/tmp
drwxr-xr-x - hdfs supergroup 0 2024-03-14 15:40 hdfs://a2-prod-buffer-165-105.sh:8020/user
[bx-11:16:43root@a2-prod-datanode-160-24 /etc/ansible/roles/ldap-client]
#hadoop fs -ls hdfs://test2nameservice/
Found 3 items
drwxrwxrwt - hdfs supergroup 0 2024-03-21 16:51 hdfs://test2nameservice/tmp
drwxr-xr-x - hdfs supergroup 0 2024-03-21 16:51 hdfs://test2nameservice/user
drwxr-xr-x - hadoop supergroup 0 2024-03-22 11:04 hdfs://test2nameservice/zw02


SSD1集群

[bx-11:15:54root@a2-prod-buffer-165-105 /home/admin]
#hadoop fs -ls hdfs://a2-prod-buffer-165-105.sh:8020/
Found 3 items
drwxr-xr-x - hadoop supergroup 0 2024-03-19 16:30 hdfs://a2-prod-buffer-165-105.sh:8020/system
drwxrwxrwt - hdfs supergroup 0 2024-03-14 10:07 hdfs://a2-prod-buffer-165-105.sh:8020/tmp
drwxr-xr-x - hdfs supergroup 0 2024-03-14 15:40 hdfs://a2-prod-buffer-165-105.sh:8020/user
[bx-11:16:00root@a2-prod-buffer-165-105 /home/admin]
#hadoop fs -ls hdfs://test2nameservice/
-ls: java.net.UnknownHostException: test2nameservice
Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [ …]
[bx-11:16:13root@a2-prod-buffer-165-105 /home/admin]
#hadoop fs -ls hdfs://a2-prod-datanode-160-24.sh:8020/
Found 3 items
drwxrwxrwt - hdfs supergroup 0 2024-03-21 16:51 hdfs://a2-prod-datanode-160-24.sh:8020/tmp
drwxr-xr-x - hdfs supergroup 0 2024-03-21 16:51 hdfs://a2-prod-datanode-160-24.sh:8020/user
drwxr-xr-x - hadoop supergroup 0 2024-03-22 11:04 hdfs://a2-prod-datanode-160-24.sh:8020/zw02


可以跨机房访问不同集群，访问使用需要写具体namenode地址（hostname:port方式），如果使用nameserver访问无法跨机房访问。


（3）在LDAP创建新用户验证集群的使用  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/b862f2f7d9a74568bcb0fa9927965905.png)  
 查看用户是否正常

####SSD2
[bx-17:36:41root@a2-prod-datanode-160-46 /root]
#id zw11
uid=1000(zw11) gid=500(zw11) groups=500(zw11)

####SSD1
a2-buffer-server-168-156.sh[bx-17:39:43root@a2-buffer-server-168-156 /root]
#id zw11
uid=1000(zw11) gid=500(zw11) groups=500(zw11)


在kerberos添加认证，并在client机器上使用用户名和密码认证。  
 SSD2集群测试

###创建Ldap认证的用户
[bx-17:36:45root@a2-prod-datanode-160-46 /root]
#kadmin.local -q “addprinc -pw zw11 zw11/zw11@hadoop.com”
Authenticating as principal hadoop/admin@hadoop.com with password.
WARNING: no policy specified for zw11/zw11@hadoop.com; defaulting to no policy
Principal “zw11/zw11@hadoop.com” created.
[bx-17:42:50root@a2-prod-datanode-160-46 /root]
#klist

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中…(img-c8Blgeo3-1713268176708)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84166278
关注
专栏目录
2024年大数据高频面试题(下篇）
program哲学
07-17 1万+
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
2个CDH 使用一个kerberos 和 LDAP
最新发布
kingrootZ的博客
04-01 273
2个CDH平台使用同一套kerberos和LDAP做认证
CDH集群启用Sentry Kerberos LDAP
小陌成长之路
04-14 756
CDH集群启用Sentry Kerberos LDAP
CDH6 配置LDAP，Kerberos，Sentry
weixin_40004348的博客
10-14 2574
CDH6 配置LDAP，Kerberos，Sentry 1. 开启Sentry 控制Hive，Hue，Impala权限 1.1 在mysql中配置数据库 [root@cdh1 ~]# mysql -uroot -p //登陆mysql mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8; //创建sentry库 mysql> grant all on sentry.* to 'sentry'@'%' identified
CDH6.3.2 配置LDAP+kerberos
h952520296的博客
04-08 2597
本文主要记录 cdhhadoop集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般由Sentry来决定的。 集群包括7个节点，每个节点的ip、主机名和部署的组件分配如下： 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.201 slave1 kerberos client、ldap client 192.168.0.202 s..
CDH5.3配置Kerberos+LDAP+Sentry记录
热门推荐
小黑
09-06 2万+
系统环境说明 操作系统：Centos6.5 CDH版本：5.3 JDK版本：1.7 操作用户：root Kerberos版本：1.10.3 LDAP版本：2.4.40 Sentry版本：1.4 集群配置 机器数量：5 内存：64G 硬盘：10T CPU核心数：24 运行的服务：HDFS、Yarn、HBase、Hive、Sqoop2、Impala、Zookeep
CDH安装配置LDAP
huguoping830623的专栏
05-09 2923
安装OpenLDAP 安装机器：slave-04 1 安装openldap yum install -y openldap openldap-servers openldap-clients 2 修改配置文件  cp /usr/share/openldap-servers/slapd.conf.obsolete /etc/openldap/slapd.conf  cp
大数据平台CDH和Impala的使用
02-24
Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度...
从CDH和HDP到CDP看大数据平台架构的演进.pptx
01-18
CDH（Cloudera Distribution of Apache Hadoop）和HDP（Hortonworks Data Platform）是两个主要的大数据平台架构，而CDP（Cloudera Data Platform）是最新的一代大数据平台架构。 大数据平台架构的演进是由于大数据...
Cloudera Manager CDH 集成 Kerberos
跟着大数据和AI去旅行
01-25 1万+
Cloudera Manager5.11.1 集成Kerberos Kerberos 安装配置 Cloudera提供了非常简便的Kerberos集成方式，基本做到了自动化部署。 系统：CentOS 7.3 操作用户：admin 角色分布如下： 角色 部署节点 KDC, AS, TGS 192.168.0.200 Kerberos Agent
为CDH 5.7集群添加Kerberos身份验证及Sentry权限控制
weixin_30340819的博客
10-17 809
转载请注明出处：http://www.cnblogs.com/xiaodf/ 4. 为CDH 5集群添加Kerberos身份验证 4.1 安装sentry1、点击“操作”，“添加服务”；2、选择sentry，并“继续”； 3、选择一组依赖关系 4、确认新服务的主机分配 5、配置存储数据库；　　在mysql中创建对应用户和数据库： mysql>create database...
CDH6.2.0集成kerberos（已经集成了ldap,sentry）
weixin_38655836的博客
06-12 1615
服务器列表信息： 10.29.200.241 testhadoop-01 10.81.51.210 testhadoop-02 10.81.75.23 testhadoop-03 10.81.66.119 testhadoop-04 10.81.88.137 testhadoop-05 1.在testhadoop-02 服务器上安装KDC服务 yum -y install kr...
Cloudera Manager 配置 LDAP 集成 Kerberos
跟着大数据和AI去旅行
01-26 4727
本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般由Sentry来决定的。 集群包括7个节点，每个节点的ip、主机名和部署的组件分配如下： 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.2
CDH集成LDAP配置
qxf1374268的博客
02-13 5473
转载自JavaChen Blog，作者：JavaChen 原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html 参考上面基本配置，添加了部分配置 本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LD...
Kerberos+LDAP认证整合
周源的专栏
10-31 6468
请确保Kerberos和LDAP已经配置好了 参考个人写的文章：http://blog.csdn.net/ZhouyuanLinli/article/details/78323331 Kerberos+LDAP认证整合配置 1）采用该 LDAP 作为用户认证。 只需要对用户 （如uid=test,ou=People,dc=example,dc=com）添加 use
CDH 5.2中Impala认证集成LDAP和Kerberos
a118170653的专栏
02-03 2111
这是一篇翻译的文章，原文为 New in CDH 5.2: Impala Authentication with LDAP and Kerberos。由于翻译水平有限，难免会一些翻译不准确的地方，欢迎指正！ Impala 认证现在可以通过 LDAP 和 Kerberos 联合使用来解决。下文来解释为什么和怎样解决。 Impala，是基于 Apache Hadoop 的一个开源的
Hadoop配置LDAP集成Kerberos
a118170653的专栏
02-03 4863
本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般来说是由应用来决定的，通过在 LDAP 数据库中配置一些属性可以让应用程序来进行授权判断。 关于 Kerberos 的安装和 HDFS 配置 kerberos 认证，请参考 HDFS配置kerberos认证。 参考 使
大数据安全之kerberos+ldap身份验证(理论篇)
王某的博客
04-15 7837
大数据安全 1、限制只有合法用户身份的用户访问大数据平台集群 （1） 用户身份认证：外部用户或者第三方服务对集群的访问过程中的身份鉴别；用户在访问启用了安全认证的集群时，必须能通过安全认证。 （2）网络隔离：大数据平台集群支持通过网络平面隔离的方式保证网络安全（比如配置防火墙）。 2、定义什么样的用户和应用可以访问数据 权限控制：包括鉴权、授信管理，即确保用户对平台、接口、操作、资源、数...
centos 7 安装LDAP 并集成kerberos 和CDH
weixin_33843947的博客
11-08 392
参考：https://blog.csdn.net/u011196623/article/details/82502570 http://blog.chinaunix.net/uid-21926461-id-5676013.html http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值