HDFS基本操作+权限问题处理

最新推荐文章于 2022-12-29 11:02:50 发布
最新推荐文章于 2022-12-29 11:02:50 发布
阅读量638 收藏
点赞数
分类专栏： 个人分享 文章标签： hdfs linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shichengcheng_scc/article/details/111287604
版权
本文档详细介绍了在Linux环境下处理HDFS权限问题，包括DEPRECATED警告的解决及Permission denied错误的处理方法。通过切换到hdfs用户执行命令，以及修改文件权限解决了用户root的写入权限问题。此外，还提供了HDFS的基本操作教程链接。
摘要由CSDN通过智能技术生成

https://www.linuxidc.com/Linux/2012-12/75751.htm

默认hdfs路径：/user/

操作过程中首次报错
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

put: in': No such file or directory:hdfs://ambariagent.ksc.com:8020/user/root/in’
从0.21.0版本以后，hadoop 命令换成了hdfs命令
Linux环境下无法看到hdfs文件系统内容，需要用hdfs命令
目前一般使用

hadoop fs -xx /user/file
hadoop fs -rmr dir

第2次报错
解决Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 问题方法
当我们用cloudera安装好Hadoop等组件时我们在操作HDFS时可能会遇到这样的问题
Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
无论是用sudo hadoop dfs -mkdir 建立文件 还是 put文件，都会显示，同样的错误！࿰

最低0.47元/天 解锁文章
scc诚诚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs权限问题
qq_45232054的博客
01-19 462
当hdfs的所有权限不属于root时： #解决权限问题 方案一： vim /etc/profile #增加内容（创建该所有者） export HADOOP_USER_NAME=hdfs #使用该所有者更改权限 su hdfs 如： hdfs dfs chmod +w /user/spark 方案二： <property> <name>dfs.permissions.enabled</name> <value>false</value>
CDH环境HDFS权限问题
L, there!
07-30 7990
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。 目录 设置 验证 如 启动spark-shell 切换hdfs用户 这样每次操作都需要切换不太方便，如yarn在调度时，通常会生成一些临时文件，执行完毕会删除，如果权限不够会导致出错。H...
hdfs每次创建文件或目录权限问题
xhzxhz12的博客
07-05 1307
一.HDFS权限概述 1、临时修改文件或目录权限 hdfs dfs -chmod 777 文件名或目录名 2、每次创建自动变更权限 在hdfs中默认的umask值为“022”，若想改变每次创建后的权限，可以进入$HADOOP_HOME/etc/hadoop/中对core-site.xml添加配置，如下： <property> 　　　<name>fs.permissions.umask-mode</name> 　　　<value>037</value&g
在hadoop操作hdfs时遭遇权限问题失败的解决办法
weixin_44761855的博客
11-20 816
在hadoop操作hdfs时 遇到Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 问题 也是常说的权限问题； 解决办法： 在hadoop的配置文件 etc/hadoop/hdfs-site.xml加入以下配置 dfs.permissions.enabled false 问题解决！！...
sudo -u hdfs hdfs balancer出现异常 No lease on /system/balancer.id
Littleree的博客
08-23 302
sudo -u hdfs hdfs balancer出现异常 No lease on /system/balancer.id
实验2 熟悉常用的HDFS操作
10-13
通过这个实验，学生将掌握使用Shell命令以及Java API进行HDFS的基本操作。 实验环境包括基于Linux的操作系统（推荐Ubuntu 16.04或18.04），Hadoop版本3.1.3，JDK 1.8，以及Java集成开发环境Eclipse。在这样的环境下...
HDFS客户端操作
01-20
测试代码可以包括创建目录、查看目录内容等基本操作。 示例代码如下： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; ...
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
在大数据技术领域，...这些命令对于HDFS的日常管理和数据操作至关重要，它们帮助用户高效地处理大规模数据，实现数据的存储、查询、移动和清理。通过熟练掌握这些命令，可以更好地理解和利用Hadoop大数据生态系统。
python使用hdfs3模块对hdfs进行操作详解
09-16
下面是一些使用`hdfs3`进行基本操作的示例： 1. **连接HDFS** ```python from hdfs3 import HDFileSystem hdfs = HDFileSystem(host='localhost', port=8020) ``` 2. **列出文件** ```python hdfs.ls('/user...
2、HDFS操作 - shell客户端
最新发布
05-29
本文将深入探讨HDFS的shell操作，包括基本的语法格式和具体命令示例。 一、语法格式 HDFS Shell客户端的命令语法与传统的Linux shell命令类似，如`ls`, `mkdir`, 和 `rm`。这些命令用于在HDFS上执行文件和目录的...
HDFS的文件权限验证
Ele_sorriu的博客
10-14 2万+
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略，对于文件夹表示是否有权限访问其内容 如果linux系统用户zhangsan使用Hadoop命令创建一个文件，那么这个文件在HDFS当中的owner就是zhangsan HDFS文件权限的目的，防止好人做错事，而不是阻止坏人做坏事。HDFS相信你告诉我你是谁，你就是谁 ...
[root@mini2 ~]# sudo -u hdfs 提示spark-shell JAVA_HOME is not set
阿正的博客
03-27 271
http://www.aboutyun.com/thread-23764-1-1.html http://blog.sina.com.cn/s/blog_5d9aca630101pxr1.html
hdfs常用命令
ss843004278的博客
12-29 137
hdfs一些常用命令
hdfs权限认证org.apache.hadoop.security.AccessControlException: Permission denied: user=root
花语无痕的博客
07-16 1158
原因：没有给根目录授权 会默认以root身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/x...
DEPRECATED: Use of this script to execute hdfs command is deprecated.
菜鸟码农升职记
05-05 2904
文章转自： http://blog.itpub.net/28254374/viewspace-746581/ 本人安装的hadoop版本是0.21.0的，但每次执行命令时都会显示下面的信息   [hadoop@master hadoop]$ hadoop dfs -ls DEPRECATED: Use of this script. to execute
Hadoop开发过程中所遇到的那些坑
什么最重要？算法！！
12-25 1万+
核心内容： 1、Hadoop开发过程中常见问题即解决方案 在Hadoop开发的过程中，我们总是遇到各种各样的问题，今天就整理总结一下： 万能的解决步骤：6个检查+查看具体日志 在Hadoop开发的过程中如果遇到各种异常，首先使用jps命令查看进程的启动是否正常，然后在去查看相关的日志文件，但是在查看相关日志之前，你可以先检查一下面几点： 1、防火墙原因：检查各个节点的防火墙是否关闭成
hdfs dfs -ls后出现No such file or directory解决
binbin_09_10的博客
10-25 2万+
原因是因为-ls默认目录是在hdfs文件系统的/user/用户名（用户名就命令行@符号前面的那个东西），但是你的hdfs系统内没有这个文件夹，所以会显示No such file or directory。 所以你需要在hdfs文件系统内创建 root1@ubuntu:~$ hdfs dfs -mkdir /user mkdir: Cannot create directory /user. ...
hadoop2.2.0遇到NativeLibraries错误的解决过程
热门推荐
DATA
10-30 2万+
问题描述          在安装好hadoop进行测试学习时，遇到下面的问题。 [hadoop@hadoop01 input]$ hadoop dfs -put ./in DEPRECATED: Use of this script to executehdfs command is deprecated. Instead use the hdfs command for it.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值