【Hadoop二十一】Hadoop ProxyUser

最新推荐文章于 2023-07-26 15:05:43 发布
最新推荐文章于 2023-07-26 15:05:43 发布
阅读量2.3k 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据 ldap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/axxbc123/article/details/84805735
版权
本文介绍了Hadoop ProxyUser的配置细节，包括`hadoop.proxyuser.*.groups`和`hadoop.proxyuser.*.hosts`等属性的设置。讨论了在线上环境中，当ProxyUser的验证涉及到LDAP或数据库中的用户时，如何确保Kerberos授权配置的用户如hdfs、spark、hive、yarn、hbase等能够代理Proxy User进行权限检查。同时，文章提出了一个问题：当proxy user通过hdfs访问资源时，使用的是hdfs用户的权限还是proxy user自身的权限。
摘要由CSDN通过智能技术生成

关于Hadoop ProxyUser的出现动机，参看

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/Superusers.html

 

线上环境做了如下配置

 

 <!--hadoop proxyuser-->
  <property>
    <name>hadoop.proxyuser.hdfs.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hdfs.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.yarn.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.yarn.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.mapred.groups</name>
    <value>*</va

最低0.47元/天 解锁文章
axxbc123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程~（心血之作啊~~）
licongcong_0224的专栏
10-23 8万+
历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习） 第一部分 Hadoop 2.2 下载           Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需
hadoop的用户代理机制
热门推荐
ASIN的专栏
11-18 1万+
hadoop的用户代理机制官方文档解读参考Proxy user - Superusers Acting On Behalf Of Other Users。在hadoop的core-site.xml中进行如下设置, 用户“super”就可以代理主机host1和host2上属于组group1和group2的所有用户。<property> <name>hadoop.proxyuser.super
oozie在hadoop中配置代理
09-20
oozie在hadoop中配置代理，内有相关链接及实际配置信息
hadoop用户代理
weixin_42728895的博客
06-17 2076
1.用户代理分为host group user三个方面，分别表示哪些主机上的superuser 、模拟哪些组、模拟哪些用户 修改core-site.xml <property> <name>hadoop.proxyuser.hive.hosts</name> <value>hadoop1,hadoop2</value> </property> <property> <name&gt
HADOOP docker(五):hadoop用户代理 Proxy user
weixin_30488085的博客
08-30 1000
1.hadoop用户代理简介2.配置3.实验 1.hadoop用户代理简介 hadoop用户代理功能的作用是让超级用户superuser模拟一个普通用户来执行任务。比如用户joe通过oozie提交一个任务到集群上，如果不设置用户代理，那么就会以启动oozie(oozie)进程的用户来提交任务,这样任务就显示为oozie，无法判断是哪个用户提交了任务。当开始proxy功能后，会以supe...
hadoop搭建【物理实验室环境搭建hadoop集群】
weixin_43923463的博客
11-05 653
环境准备：centos7.5，hadoop 3.1.3，jdk 1.8.0_161 前言：经过半个月的时间，请教了往届的师兄师姐、身边的朋友、公司里面的维修人员、在网上找到的自学运维和阿里P7的两位老大哥，终于把平台在实验室环境下搭建成功。总结下来，实验室的环境不像自己在虚拟机中随意更改，所以这半个月都在修改环境，搭建集群只用不到一个小时的时间。从最初出现问题不知道是什么原因，到后来知道原因着手去修改，过程实在是很痛苦。再次感谢在搭建平台过程中给与我帮助的大哥大姐们，现在将搭建平台的步骤列举如下： 1、
【Hadoop】
dominic_z的博客
08-03 563
Hadoop HDFS体系结构(NameNode、DataNode详解) Hadoop是什么？一句话理解 YARN 深入理解Hadoop YARN中的Container概念 Hadoop学习笔记之深入浅出MR Hadoop中Writable和WritableComparable区别 MapReduce 中job.setJarByClass（）方法的疑惑 关于MapReduce中的切片机制 MapR......
Ambari搭建Hadoop
02-07
Ambari 搭建 Hadoop 集群环境 Ambari 是一个商业化的平台，用于搭建 Hadoop 集群环境。该平台提供了一个端到端的解决方案，包括安装、操作、修改配置和监控集群中的所有节点。使用 Ambari 的 Web UI 和 REST API，...
Hadoop搭建的源代码.doc
05-09
3. `hadoop.proxyuser.hadoop.hosts`和`hadoop.proxyuser.hadoop.groups`: 这两个属性涉及到用户代理功能，允许`hadoop`用户通过HTTP代理访问Hadoop服务。`*`值表示允许所有主机和所有用户组。 接下来，`hdfs-site....
hadoop安装详细文档
02-05
<name>hadoop.proxyuser.root.groups * ``` ##### 3.11 修改`hdfs-site.xml`文件 - 使用文本编辑器打开`hdfs-site.xml`文件。 - 在`<configuration>`标签内添加必要的配置项。这些配置项包括但不限于副本数量...
Hadoop2.7.1——NFS部署
10-10
<name>hadoop.proxyuser.root.groups * 允许所有用户组用户代理 <name>hadoop.proxyuser.root.hosts <value>localhost 允许挂载的主机域名 ``` 这里`root`是指超级用户，`*`表示所有用户组。如果需要...
Hadoop配置文件
11-29
此外，网络设置也至关重要，特别是`core-site.xml`中的`hadoop.proxyuser.*`设置，用于跨用户访问HDFS和其他服务。 总的来说，Hadoop的配置文件是整个系统的神经中枢，它们决定了Hadoop集群如何运行和协作。熟练...
hadoop配置文件编辑
04-01
4. hadoop.proxyuser.whdx.hosts：指定代理用户的主机列表。这里设置为 \*，表示允许所有主机作为代理用户。 5. hadoop.proxyuser.whdx.groups：指定代理用户的组列表。这里设置为 \*，表示允许所有组作为代理用户...
centos7+hadoop2.7.3+jdk1.8
11-01
注意：`core-site.xml`中的`hadoop.proxyuser.root.hosts`和`hadoop.proxyuser.root.groups`配置项允许root用户通过HTTP代理访问Hadoop服务，这在集群管理时很有用。 完成以上步骤后，您需要启动Hadoop服务并进行...
Hadoop中的ProxyUser
人望山丶鱼窥荷的博客
07-14 1995
目录 PROXYUSER介绍和应用场景 PROXYUSER的使用和相关配置 PROXYUSER介绍和应用场景 Hadoop2.0版本开始支持ProxyUser的机制。含义是使用User A的用户认证信息，以User B的名义去访问hadoop集群。对于服务端来说就认为此时是User B在访问集群，相应对访问请求的鉴权（包括HDFS文件系统的权限，YARN提交任务队列的权限）都以用户User B来进行。User A被认为是superuser（这里super user并不等同于hdfs中的超级用户，只是
hadoop 分布式集群部署 一 HDFS 高可用部署（Observer NameNode 进行读写分离）
CodingDemo
07-26 504
在hadoop 3以后，引入一种称为`Observer NameNode`的新型`NameNode`来解决上述问题。与`Standby NameNode`类似，`Observer NameNode`使自己保持命名空间和块位置信息的最新状态，它能提供和`Active NameNode`一致读取的能力。由于一般环境中读取请求在占大多数，因此这有助于负载平衡`NameNode`流量并提高整体吞吐量。
Hadoop-2.7.7 + Hive-2.3.4配置开启HiveServer2,并且集成Zeppelin实现可视化
07-23 438
1.进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件 其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/apache-hive-2.3.4-bin/conf/并没有hive-site.xml文件 直接新建一个就行 我的环...
hadoop集群配置时hosts配置导致的错误（datanode节点只显示一个）
beArrow的博客
04-14 844
查看datanode节点正确的显示应该是下图： 而修改hosts之前一直显示的是下图: 仔细观察红框里的地址，发现输出有误，立即就想到了hosts文件可能配置有误，于是打开，果不其然： 下面多了3、4行，原本那两行是为了修改主机名，结果写错了位置，应该替换第三列。把3、4行删掉，然后重启sbin/start-dfs.sh 、sbin/start-yarn.sh,成功。 上面谈到了修改主机名： 这...
hadoop.proxyuser.hadoop.hosts
最新发布
05-26
hadoop.proxyuser.hadoop.hosts是一个Hadoop配置属性，用于配置允许哪些用户可以通过代理用户进行操作。代理用户是一个特殊的用户，可以代表其他用户执行一些操作。此属性指定了哪些主机可以使用代理用户来执行操作。 具体来说，当一个用户需要通过代理用户执行某些操作时，Hadoop会检查该用户所在的主机是否在hadoop.proxyuser.hadoop.hosts属性中指定的主机列表中。如果是，那么该用户就可以通过代理用户执行相应的操作。 举个例子，假设我们有一个代理用户叫做proxy，我们想让用户user1能够通过proxy用户来访问HDFS。我们可以将hadoop.proxyuser.hadoop.hosts属性设置为允许user1所在的主机访问，然后在HDFS中配置相应的权限，使得proxy用户有访问权限，user1则可以通过proxy用户来访问HDFS。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值