[问题记录]hdfs删除文件提示rmr: Failed to move to trash

1849人阅读 评论(0) 收藏 举报
分类:

问题/现象

使用hadoop fs -rmr xxx删除hdfs上的文件失败

$ hadoop fs -rmr /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=20161118/000000_0

rmr: Failed to move to trash: /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=20161118/000000_0

原因分析

原因一:集群回收站空间占满
原因二:当前ugi没有权限删除对应的hdfs文件,通过hadoop fs -ls命令可以发现,用户权限是nuomi-abc,用户组权限是nuomi-da-stat,当前运行的ugi是在hadoop-site.xml文件中配置的,如果当前运行的ugi与用户权限或用户组权限不符合,就会因为没有权限执行而报错

$ hadoop fs -ls /app/lbs/nuomi-da-stat/stat_platform_auto/1405/dt=20161111/000000_0
Found 1 items
-rw-r--r--   3 nuomi-abc nuomi-da-stat         85 2016-11-18 05:09 /app/lbs/nuomi-da-stat/stat_platform_auto/1405/dt=20161111/000000_0

解决方案

原因一:集群回收站空间占满

方法:清空集群回收站

$ hadoop fs -rmr /user/nuomi-da-stat/.Trash/*

原因二:当前ugi没有权限删除对应的hdfs文件

方法一:更改hdfs文件权限

-chown [-R] [OWNER][:[GROUP]] PATH...
        Changes owner and group of a file.
        This is similar to shell's chown with a few exceptions.

    -R  modifies the files recursively. This is the only option
        currently supported.

        If only owner or group is specified then only owner or
        group is modified.

        The owner and group names may only cosists of digits, alphabet,
        and any of '-_.@/' i.e. [-_.@/a-zA-Z0-9]. The names are case
        sensitive.

        WARNING: Avoid using '.' to separate user name and group though
        Linux allows it. If user names have dots in them and you are
        using local file system, you might see surprising results since
        shell command 'chown' is used for local files.

如下命令,作用是递归地将/app/lbs/nuomi-da-stat/stat_platform_auto/下的所有文件,用户权限和组权限都改成nuomi-da-stat,文件多的话执行会很慢

hadoop fs -chown -R nuomi-da-stat:nuomi-da-stat /app/lbs/nuomi-da-stat/stat_platform_auto/

方法二:使用有权限的ugi来操作

$ hadoop fs -D hadoop.job.ugi=nuomi-abc -rmr /app/lbs/nuomi-da-stat/stat_platform_auto/1405/dt=20161111/000000_0
Moved to trash: /app/lbs/nuomi-da-stat/stat_platform_auto/1405/dt=20161111/000000_0
查看评论

iOS开发:remove reference与move to trash的区别

remove reference:删除引用//工程文件夹里依然有这个文件 move to trash:彻底删除这个文件//彻底扔到了垃圾箱里 Basically if you ...
  • liuchuo
  • liuchuo
  • 2016年07月22日 13:50
  • 4384

HDFS研究----.Trash文件

回收文件策略1. 默认的回收策略通过对每个DN设置参数fs.trash.interval的值,来指明删除区间。如下,设置回收时间间隔为1440min,即1天。 fs.trash.interval ...
  • u012948976
  • u012948976
  • 2016年08月04日 19:32
  • 720

HDFS 的Trash回收站功能的配置、使用

文件的删除和恢复         和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回...
  • fhx007
  • fhx007
  • 2015年05月17日 22:32
  • 939

Hadoop问题集锦:rmr: failed to get server trash configuration:null.……

RT:     在采用 ./hadoop fs -rmr //// 删除文件夹的时候 出现:rmr: Failed to get server trash configuration: null....
  • yaoxiaochuang
  • yaoxiaochuang
  • 2016年11月11日 21:13
  • 1124

hadoop的rmr命令一定要慎用,rmr删除恢复

早上来到公司,看一下昨天晚上的迁移数据,很欣喜啊,9T的数据已经迁移完并且速度很快,每秒400M左右,就想整理一下目录,一不小心误删除,把所有的数据都删除了,好伤心啊,就在网上查找,看到hadoop有...
  • weipanp
  • weipanp
  • 2015年01月20日 09:30
  • 3899

hive参数调优汇总

参考:http://blog.csdn.net/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral ...
  • qq_18838991
  • qq_18838991
  • 2016年07月04日 10:48
  • 5131

Hadoop回收站trash

转自:http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454683.html Hadoop回收站trash,默认是关闭的。 习惯了w...
  • lskyne
  • lskyne
  • 2013年05月14日 10:22
  • 5965

如何处理 Permission denied: user=root, access=WRITE, inode="/user" 这类Hadoop权限问题问题

当我们用cloudera安装好Hadoop等组件时我们在操作HDFS时可能会遇到这样的问题 无论是用sudo hadoop dfs -mkdir 建立文件 还是 put文件,都会显示 Permiss...
  • u011926899
  • u011926899
  • 2016年04月20日 17:49
  • 14165

HDFS数据存储和删除

HDFS中的数据都是分块存储的,默认块大小为64M,这个值可以从hdfs配置文件中更改dfs.blocksize。这样分快处理的好处是可以增加读取数据的吞吐量,因为可以同时从读取文件的不同分块。 一...
  • oh_Mourinho
  • oh_Mourinho
  • 2016年11月10日 17:17
  • 3303

获取hdfs没有正常关闭的文件并删除

由于hdfs文件系统中存在损坏的文件导致mapreducejob执行出错: 使用以下命令搜索HDFS文件没有正常关闭的文件: hadoop fsck /logs/ -files -...
  • zhoujj303030
  • zhoujj303030
  • 2015年03月17日 14:20
  • 1567
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 45万+
    积分: 6173
    排名: 5035
    第三方账号
    博客专栏