在root用户下执行脚本利用hdfs用户执行命令

最新推荐文章于 2024-05-11 17:09:39 发布

lvhdbb

最新推荐文章于 2024-05-11 17:09:39 发布

阅读量1.4k

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/lvhdbb/article/details/96775126

版权

本文档详细介绍了如何在具有root权限的环境中，通过脚本切换到HDFS用户来执行特定的Hadoop Distributed File System (HDFS) 命令。这种方法对于在系统管理任务中需要跨用户权限操作的情况非常有用。

摘要由CSDN通过智能技术生成

【导读】

hadoop要给不同的用户赋予不同权限，保障hdfs的数据安全。

【正文】

1. 增加用户

useradd -g <用户组> <用户>

usermod -g <用户组> <用户>

2. 修改目录的拥有者

sudo -u hdfs hdfs dfs -mkdir /user/app_user/    以hdfs账号创建一个目录

sudo -u hdfs hdfs dfs -chown -R <用户>:<用户组> /user/app_user   将指定目录的所有者变为指定用户

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lvhdbb

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

idea本地运行hdfs程序

chenzhongwei99的专栏

05-18

6698

上一篇文章已经搭建好了hadoop单机模式的服务，现在我们要在本地idea上操作hdfs。首先创建一个maven工程 1.目录结构 2.pom.xml junit junit 3.8.1 test org.apache.hadoop hadoop-core 2.6.0-mr1-cdh5.11.0 org.

hadoop用户权限管理

panhongan的专栏

01-06

3286

【导读】 hadoop要给不同的用户赋予不同权限，保障hdfs的数据安全。【正文】 1. 增加用户 useradd -g 2. 修改目录的拥有者 sudo -u hdfs hdfs dfs -mkdir /user/app_user/ 以hdfs账号创建一个目录 sudo -u hdfs hdfs dfs -chown -R : /user/app

参与评论您还未登录，请先登录后发表或查看评论

Hadoop用户权限管理及hdfs权限管理

weixin_42487706的博客

04-24

2923

1.创建用户student1，所属分组为students chown -R student1:students/home/hadoop/hadoop-2.7.6root用户将hadoop的相关操作权限授予student1 2.修改Hadoop目录的权限 chmod -R 755/home/hadoop/hadoop-2.7.6 3.hadoop fs -mkdir /user/stud...

新建hadoop用户并给予sudo权限

遥望......

07-01

2180

step1:新建用户 sudo adduser hadoop passwd hadoop step2:添加用户组 sudo usermod -a -G hadoop hadoop 前面一个hadoop是组名，后面一个hadoop是用户名 cat /etc/group 可以看到具体用户信息 step3:赋予root权限先切换到root的用户 sudo vim /etc/sudoers 修改文件如下：在　　root　　ALL=(ALL)　　ALL　　下面添加： hadoop　　ALL

Hadoop环境配置

ViolinW的博客

01-03

1701

Hadoop环境配置

03、Hadoop框架HDFS Shell 命令

hujieliang123的博客

02-11

2596

文章目录HDFS Shell命令详细启动脚本介绍HDFS Shell 介绍HDFS Shell 常用操作运行word count 实例 HDFS Shell命令详细启动脚本介绍第一种：全部启动集群所有进程启动：sbin/start-all.sh 停止： sbin/stop-all.sh *启动停止第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程启动：sbin/start-dfs.sh sbin/start-yarn.sh 停止：sbin

【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在

weixin_53543905的博客

04-19

2972

1、通过可以判断 HDFS 文件或目录是否存在，-test 一次只能传递一个测试参数，不能执行类似或者这种命令；2、返回值是不输出的，需要通过“$?这个特殊变量获取返回值；3、判断 HDFS 文件目录是否存在后，可以执行比如创建、删除目录或文件等操作，当然还有一些更高级的玩法，这里就不演示了。【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在

hadoop用root用户启动集群执行start-dfs.sh后出现错误Attempting to operate on hdfs namenode as root

05-16

如果你使用 root 用户启动 Hadoop 集群，那么在执行 start-dfs.sh 脚本时就会出现 "Attempting to operate on hdfs namenode as root" 错误。为了解决这个问题，你需要以非 root 用户身份启动 Hadoop 集群。通常...

使用shell脚本执行hive、sqoop命令的方法

09-15

### 使用Shell脚本执行Hive与Sqoop命令详解在大数据处理领域，Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析，而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率，简化...

centos查看当前用户的命令

weixin_45441727的博客

09-29

1435

centos查看当前用户 users 列出用户 who 列出当前已登录用户如果只希望累出用户使用该语句 who |cut -d ’ ’ -f1 |sort|uniq id -un 显示当前登入用户的用户名称，以及当前使用的tty信息，且包括用户名，tty名，当前时间日期，当前用户使用的链接地址 ...

Hadoop从入门到入土（三）------------HDFS集群简单维护及JAVA客户端连接HDFS

周星星

11-19

343

Hoop Archivesad

weixin_34014277的博客

10-11

HDFS并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在NameNode占用内存，如果存在大量的小文件，它们会吃掉NameNode节点的大量内存。Hadoop Archives可以有效的处理以上问题，它可以把多个文件归档成为一个文件，归档成一个文件后还可以透明的访问每一个文件。1．使用方法1.1．如何创建Archives（档案）Usage: hadoop arc...

大数据02-HDFS的使用和基本命令

weixin_45735391的博客

02-19

2905

HDFS(Hadoop Distribute File System)是大数据领域一种非常可靠的存储系统，它以分布式方式存储超大数据量文件，但它并不适合存储大量的小数据量文件。同时HDFS是Hadoop和其他组件的数据存储层，运行在由价格廉价的商用机器组成的集群上的，而价格低廉的机器发生故障的几率比较高，因此HDFS在设计上采取了多种机制，在硬件故障的情况下保障数据的完整性。兼容廉价的硬件设备: 实现在硬件故障的情况下也能保障数据的完整性流数据读写：不支持随机读写的操作大数据集。

hdfs权限问题chmod: changing permissions of ‘/user/hive/warehouse‘: Permission denied. user=root is not t

前方的路在刚开始

08-05

2322

将某个用户，添加到，hdfs超级管理员组中。更新权限到hdfs文件系统。

【大数据·hadoop】在hdfs上运行shell基本常用命令

最新发布

Yaoyao2024的博客

05-11

2113

在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。

HDFS将普通用户添加到超级用户组

阿甘兄

11-01

2899

详细讲解普通用户添加至HDFS超级用户组的流程

【无标题】

weixin_64487242的博客

07-16

8538

123

root实现对HDFS文件系统权限访问

zhengqianjin的博客

07-10

4092

在使用root 用户新搭建好cdh后，发现在想hdfs上写数据时老是报权限不够的问题经过查找资料发现，root用户只是系统的超级管理员而不是hdfs的超级管理员, cdh安装后默认hdfs为超级管理员。如果想让用户有访问hdfs 权限提供了一下两种方法（一）改变用户到hdfs用户组由于HDFS文件系统的目录都属于supergroup用户组，所以就把用户添加到该用户组，即可解决很多权限问题。 1、在Linux执行如下命令增加supergroup groupadd supergroup 2、如将用户r

shell脚本搭建hdfs

11-27

以下是一个简单的shell脚本搭建hdfs的例子： ```shell #!/bin/bash # 安装Java yum install -y java-1.8.0-openjdk-devel # 下载Hadoop wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz # 解压Hadoop tar -zxvf hadoop-3.3.1.tar.gz # 配置环境变量 echo 'export HADOOP_HOME=/root/hadoop-3.3.1' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc source ~/.bashrc # 修改配置文件 cd $HADOOP_HOME/etc/hadoop cp mapred-site.xml.template mapred-site.xml cp core-site.xml.template core-site.xml cp hdfs-site.xml.template hdfs-site.xml # 修改core-site.xml echo '<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>' > core-site.xml # 修改hdfs-site.xml echo '<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/root/hadoop-3.3.1/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/root/hadoop-3.3.1/hdfs/datanode</value> </property> </configuration>' > hdfs-site.xml # 格式化HDFS hdfs namenode -format # 启动HDFS start-dfs.sh ``` 该脚本的作用是安装Java，下载Hadoop，解压Hadoop，配置环境变量，修改配置文件，格式化HDFS并启动HDFS。需要注意的是，该脚本仅适用于单机模式，如果需要在集群中搭建HDFS，需要进行相应的修改。