[问题记录]hdfs删除文件提示rmr: Failed to move to trash

最新推荐文章于 2023-04-10 15:52:31 发布
最新推荐文章于 2023-04-10 15:52:31 发布
阅读量8.5k 收藏 7
点赞数 1
分类专栏： [问题记录]
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeweiouyang/article/details/53518075
版权
本文记录了在HDFS中删除文件时遇到的问题，即提示`rmr: Failed to move to trash`。问题可能由两方面引起：一是集群回收站空间已满，二是当前用户无权限删除指定文件。针对这两个原因，提供了相应的解决方案，包括清理回收站和调整文件权限。
摘要由CSDN通过智能技术生成

问题/现象

使用hadoop fs -rmr xxx删除hdfs上的文件失败

$ hadoop fs -rmr /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=20161118/000000_0

rmr: Failed to move to trash: /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=20161118/000000_0

原因分析

原因一：集群回收站空间占满
原因二：当前ugi没有权限删除对应的hdfs文件，通过hadoop fs -ls命令可以发现，用户权限是nuomi-abc，用户组权限是nuomi-da-stat，当前运行的ugi是在hadoop-site.xml文件中配置的，如果当前运行的ugi与用户权限或用户组权限不符合，就会因为没有权限执行而报错

$ hadoop fs -ls /app/lbs/nuomi-
最低0.47元/天 解锁文章
yeweiouyang
关注
专栏目录
Hadoop问题集锦：rmr： failed to get server trash configuration：null.……
探索地理之源 分享GIS价值
11-11 2443
RT:     在采用 ./hadoop fs -rmr //// 删除文件夹的时候 出现：rmr: Failed to get server trash configuration: null. Consider using -skipTrash option ======================== 解决： 命令行为：./hadoop fs -rmr - skipTrash
HDFS常用命令
最新发布
weixin_46356409的博客
08-13 1261
显示 HDFS 文件系统的磁盘空间使用情况。：显示 HDFS 文件系统的磁盘空间使用情况。：统计目录中的文件数、目录数和空间使用情况。目录下的所有文件和子目录的磁盘使用情况。：测试文件、目录或符号链接的存在性和类型。：将 HDFS 文件复制到本地文件系统。：将 HDFS 文件移动到本地文件系统。目录中的文件数、目录数和空间使用情况。：删除 HDFS 上的文件或目录。：显示目录或文件的磁盘使用情况。：将本地文件上传到 HDFS。：显示 HDFS 文件的内容。：将本地文件移动到 HDFS。
hive报错：Failed to move to trash: hdfs Permission denied by sticky 无法删除文件
weixin_41108545的博客
09-07 2901
背景描述： 由于默认的hdfs是备份为3，在三台集群上hive的数据库都有备份，现在准备删除其他datanode上的备份，但执行 hadoop fs -rm -r /user/hive/warehouse/*命令时报错： rm: Failed to move to trash: Permission denied by sticky bit: user=root, path=… 错误分析： 经过网上搜查之后，发现错误原因可能有三，一是root用户权限不够，在hdfs下，hdfs才是最大权限用户，解决方法是增
hdfs删文件夹报错
weixin_45052608的博客
08-02 785
要删除hdfs上的一个文件夹/user/byy，用以下命令时： hadoop fs -rm -r /user/hive/warehouse/* 报错： rm: Failed to move to trash: Permission denied： user=root, access=… 错误分析： 可能是root用户权限不够，在hdfs下，hdfs才是最大权限用户 解决方法： 用如下命令增加root用户的权限： sudo -u hdfs hdfs -chown -R root:root /user/byy
Cannot delete /user/hdfs/.Trash/ Name node is in safe mode
qq_38220334的博客
04-10 100
【代码】Cannot delete /user/hdfs/.Trash/ Name node is in safe mode。
hdfs磁盘满时，hdfs删除数据报错及解决
uniqueliang的博客
11-09 1921
错误 [root@hdp01 etc]# hdfs dfs -rm -r /data/log/log_format/2020-11-06/logstart-.1604630235482.tmp 20/11/09 10:54:26 WARN fs.TrashPolicyDefault: Can't create trash directory: hdfs://hdp01.long.com:8020/user/hdfs/.Trash/Current/data/log/log_format/2020-11-06
hadoop报错：ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_
weixin_46122692的博客
01-09 2108
一、详细报错信息 [root@hadoop101 hadoop-3.1.3]# sbin/start-dfs.sh Starting namenodes on [hadoop101] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to
[Error Code: 0, SQL State: HY000] Disk I/O error: Failed to open HDFS file
hyfstyle的博客
05-20 4730
impala上tdm库的order表的某月数据有异常，需要重新上传，order表是按年月日分区的parquet文件格式存储数据的；例如20191201那天真实情况是没有数据的，但是因为异常操作导致混入了20191201的数据，后面再insert overwrite table tdm.order时 因为分区的原因，已经混入的20191201这天的数据需要手动删除 文件； 手动删除hdfs目录下的文...
解决hdfs程序报SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
weixin_39785834的博客
01-10 3847
Hadoop中输入hdfs dfs -ls / 程序出现如下错误  SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/cod
【大数据】HDFS操作过程使用命令移除某个文件路径出错，提示“Permission Denied user =root， access = write”
mukvintt的博客
07-01 2134
自己在运行和操作kylin的过程当中，需要删除某个文件夹，结果提示报错如下： [root@sandbox Kyligence-Enterprise-3.3.0-Beta-hdp]# hdfs dfs -rm -r /kylin 19/07/01 05:59:59 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion...
使用cloudera-manager CDH大数据集群运维工作记录
明明历险记
09-12 8190
hbasegc时间过长警告： 解决方法： 查看hbase-配置-hbase.hregion.memstore.flush.size，该值默认为128MB，如果报gc警告，可适当调小。
hdfs中snapshot的解释
早睡早起的Hadooper
02-19 3067
一、snapshot的定义： snapshot是hdfs的整个文件系统，或者某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。 二、使用snapshot可以解决的问题 （1）防止用户的误操作 管理员可以通过滚动的方式来对重要的目录进行创建snapshot的操作，这样在系统中就存在针对某个目录的多个快照版本。当用户误删除掉某个文件时，可以通过最新的snapshot来进行相
hive执行insert overwrite失败，报错 could notbe cleaned up错误
云想慕尘的专栏
11-29 6030
问题描述 用户zhangsan执行insert overwrite： INSERT OVERWRITE table temp.push_temp PARTITION(d_layer='app_video_uid_d_1') SELECT ... 报错目的目录无法清理——could not be cleaned up： Failed with exception Directory hdfs://Ucluster/user/hive/warehouse/temp.db/push_temp/d_layer
hdfs回收站的配置使用与注意事项
hncscwc的博客
10-15 1564
【概述】在hdfs使用过程中，通过"rm"命令可以进行文件的删除，然后有时候，难免会出现误删了某个文件。那么hdfs是否存在回收站的功能，文件删除而不是真的删除，而是先进入垃圾回收站，这样可以对误删的文件有机会进行还原。本文就来聊聊hdfs中的回收站功能原理【配置使用】hdfs的回收站功能默认是不开启的，如需使用，只需在namenode的配置文件`core-site.xml`中增加如下配置项即可：...
HDFS垃圾回收站配置及使用
csp75739的博客
05-25 741
HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/， 每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话，HDFS就...
66.管理Hive外部表——Sentry
大勇若怯任卷舒
11-11 1206
66.1 演示环境介绍 操作系统：CentOS6.5 CM和CDH版本：5.12.1 采用root用户操作 集群运行正常，Kerberos/HDFS/Hive/Impala/Hue服务已与Sentry集成，Hive用户是超级用户 66.2 操作演示 创建测试库及外部表 使用hive用户登录Kerberos，并通过beeline登录HiveServer2 创建fayson数据库 0: jdbc:hive2://localhost:10000/> create database fayson
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值