HDFS 添加组和用户

最新推荐文章于 2023-03-07 09:08:50 发布
最新推荐文章于 2023-03-07 09:08:50 发布
阅读量6.3k 收藏 8
点赞数 1
分类专栏： 大数据 文章标签： Hadoop HDFS Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36160730/article/details/103816090
版权

Hadoop 3.1.2 独立模式，单节点和多节点伪分布式安装与使用

创建Hadoop集群的时候，创建并使用了hadoop用户，Hadoop也装在hadoop用户目录下。
当Linux用户切换成root访问HDFS时，会报权限错误。

HDFS本身的组和用户都是同步Linux系统的，默认supergroup组和hadoop用户，在Linux组中默认没有supergroup。

创建supergroup组，并添加hadoop用户

groupadd supergroup
usermod -a -G supergroup hadoop

根据需要添加用户，这里添加root用户

usermod -a -G supergroup root

supergroup组
现在root访问HDFS，可以创建文件夹等

hadoop fs -mkdir /root
hadoop fs -fs /

hdfs目录

参考：
HDFS中将普通用户增加到超级用户组supergroup以及其应用场景

shpunishment
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
浅析HDFS架构和设计
02-24
hdfs是hadoop的分布式文件系统，即HadoopDistributedFilesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是。当数据集的大小超过了一台物理机所能存储的能力时，就需要将它进行分区并存储到若干不同的独立的计算机上，其中管理跨多台计算机存储的文件系统称为分布式文件系统。目录使用HDFS的场景HDFS的工作模式文件系统命名空间（namespace）数据复制文件系统元数据的持久化通讯协议健壮性数据组织可访问性存储空间回收HDFS适合于以流式数据访问模式来存
HDFS架构和实现机制简介
01-07
本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包括多个 DataNode，用来存储数据。HDFS 的整体结构如图 1 所示。 图 1  HDFS整体架构 HDFS 会对外暴露一个文件系统命名空间，并允许用户数据以文件的形式进行存储。在内部，一个文件被分成多个块并且这些块被存储在一组 DataNode 上。 1）NameNode 文件的元数
hadoop 创建用户及hdfs权限，hdfs操作等常用shell命令
Hdmtc123的博客
04-16 1237
身份晚4染发膏
kali修改文件权限不够_设置网络共享文件夹图文教程，添加新用户修改共享文件夹用户权限...
weixin_39955149的博客
11-17 308
大家好，我是老盖，感谢观看本篇文章，本文做的也有视频，也可以看我发布的视频。今天给大家讲一下共享文件夹和共享文件夹添加新用户和修改用户共享权限。对着桌面计算机点右键点管理。依次点击本地用户和组，用户，我们添加一个新用户。新用户名字用abcd测试，添加密码和下方选项选择一下。c盘有一个123文件夹，我们用它作为测试，对着它点右键点共享，点特定用户。在文件共享中，添加abcd这个用户，然后权限级别可以...
【大数据基础】分布式文件系统HDFS
Algernon98的博客
03-07 1249
利用JAVA API与HDFS进行交互
HDFS将普通用户添加到超级用户组
阿甘兄
11-01 2601
详细讲解普通用户添加至HDFS超级用户组的流程
HDFS中将普通用户加入到supergroup组来访问HDFS
遥望......
07-02 2153
本机是linux系统，使用远程的hadoop。程序直接访问hdfs://node1:8020 会有权限问题。 比较简单的解决粗暴方式是把用户加入到supergroup组。 Hadoop本身的用户和组的关系，是同步Linux系统中的用户权限，但是HDFS和Linux的超级用户组又有一点差别，HDFS中的超级用户组是supergroup，但是Linux中默认是没有supergoup这个组，这个时候只需要在Linux中增加supergroup这个组，然后将要在HDFS中加入到supergroup中的用户加到这
Hadoop多用户配置
一直在水些技术小文
08-16 1190
Hadoop多用户配置的目的就是多个hadoop用户可以共同使用HDFS，但是只能操作属于自己的空间，不能跨用户空间操作（当然/tmp是属于大家的，任何用户都会对这个文件夹有写操作）。Hadoop多用户配置，相当于给每个用户一个hadoop客户端，每个用户都可以使用hadoop的命令操作属于自己的HDFS空间。0）假设集群中的一台机器tseg0，已有一个普通用户tseg，现再增加一个用户another，且之前在tseg用户下已经部署好hadoop。...
hdfs 创建一个新用户
陈小哥cw
05-15 2609
需要先在linux 上创建一个普通用户： hadoop-cw,并修改密码 [root@cm1 ~]# useradd hadoop-cw [root@cm1 ~]# passwd hadoop-cw Changing password for user hadoop-cw. New password: BAD PASSWORD: The password is shorter than 8 characters Retype new password: passwd: all authentication
Hadoop用户、用户组以及权限
m0_61083409的博客
04-03 5173
hadoop的用户和用户组使用的是Linux中的用户组。先看一个问题，如何把root用户加入到超级组supergroup 先创建用户组：supergroup groupadd supergroup 然后把root用户添加到该组 usermod -a -G supergroup root 刷新hadoop上的用户和用户组映射 hdfs dfsadmin -refreshUserToGroupsMappings 第一次执行，root用户并没有获得supergroup组的权限，可能是因为执行的机器hado
HDFS详解和配置文件
最新发布
04-18
HDFS本身是Doug Cutting根据Google的论文(简称为GFS)来实现的，因此早期的HDFS和GFS除了实现语言不同以外，其他的操作和原理基本上一致。 HDFS本身是一个典型的主从结构，主要进程：NameNode(主进程)，DataNode(从...
Hadoop-HDFS安装和管理.doc
09-18
Hadoop_HDFS安装和管理
hadoop集群部署
xiaoxi1779的博客
04-29 143
拷贝命令可以用 scp 例子：scp -r /usr/local/hadoop hadoop01:/usr/local/hadoop 环境三台虚拟机 （三台机器操作相同） 步骤一 修改host加入上面图片的地址 vi /etc/hosts 关闭防火墙 systemctl stop firewalld.service 步骤二 安装jdk运行下面的命令 yum install -y java-1.8.0-openjdk yum install java-1.8.0-openjdk-devel.x86_64
入门级Hadoop集群搭建详细教程(三)：Linux常用命令之用户、组和权限
shidan473414的博客
03-22 419
如有相似之处，请与作者联系！！谢谢！！ 1. 添加用户、设置群组和密码(root权限) useradd user01  添加用户 user01 usermod -g users user01   将用户user01 添加到users 群组。 usermod -c "添加用户注释" user01  为user01添加描述信息 useradd -g users -c "一步操作完成" use
HDFS中将普通用户增加到超级用户组supergroup以及其应用场景
冯立彬的博客
08-31 2万+
Hadoop平台会集成不同的组件，如hdfs、yarn、hive等，不同用户的操作权限不同，除了hdfs是超级用户以外，其它用户都默认是普通用户权限，但是有些场景之下，我们希望普通具有具有hdfs的超级权限，如我oozie中调试shell任务，其中shell调用sqoop从数据中导入数据到hive中，其后会通过Yarn来执行MapReduce这么一个过程，不过Yarn在执行的时候，会在hdfs的/...
HDFS用户权限管理
热门推荐
Dean Chen的专栏
11-08 3万+
超级用户启动namenode服务的用户就是超级用户具体配置参考之前我的博客Ubuntu上使用Hadoop 2.x 一 hdfs超级用户创建和设置 CentOS 6.6 安装 HDFS 2.7.1 设计思想很多设计原子POSIX文件系统，可以参考之前的博客 Linux用户管理命令 文件和
把用户加入到supergroup组来访问HDFS
zld_555的博客
11-23 1637
本机是linux系统，使用远程的hadoop。程序直接访问hdfs://node1:8020 会有权限问题。 比较简单的解决粗暴方式是把用户加入到supergroup组。 Hadoop本身的用户和组的关系，是同步Linux系统中的用户权限，但是HDFS和Linux的超级用户组又有一点差别，HDFS中的超级用户组是supergroup，但是Linux中默认是没有supergoup这个组，这个时候...
使用Hadoop用户管理工具来管理HDFS用户
06-08
Hadoop提供了一个用户管理工具——hadoop user命令，可以用来管理HDFS用户。以下是使用hadoop user命令管理HDFS用户的步骤： 1. 添加用户：您可以使用以下命令添加新用户： ``` hadoop user -add ``` 其中，是要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值