上传到hdfs文件所属问题

原创 2015年11月19日 15:04:57

背景描述:

主机1

服务器: 192.168.14.212     用户名: cons   所属组: dcs

主机2

服务器: 192.168.14.213     用户名: cons   所属组: dcs

 

在主机1上新建文件212.txt,主机2上新建文件213.txt。注: 两个文件的所属用户,所属用户组一致

主机1:


主机2:



将2个文件分别上传到hdfs,上传完成后发现两个文件所属的用户不同。

主机1的所属用户是: cons:dcs,而主机2的所属用户是: root:dcs。

主机1:


主机2:



该文件所属不同的问题可导致 主机1可在hdfs上成功删除掉 212.txt 文件,而主机2在hdfs上无法删除掉 213.txt 文件。

主机1:

 

主机2:



问题原因:

HDFS 会为每一个用户创建一个回收站目录: /user/用户名/.Trash/Current,每一个被用户通过 Shell 删除的文件(或目录),在系统回收站中都有一个存在周期,即当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话,HDFS就会自动把该文件/目录彻底删除。之后,用户就永远找不回该文件/目录了。

由 213 主机的错误信息可知:该主机以 root 的用户删除掉 213.txt 文件,需要在 /user/root/.Trash/Current 回收站下创建文件apps/cons/wangyw/212.txt,由于没有权限操作 /user/root 节点导致删除文件失败。

为什么同样的用户cons,用户组dcs上传文件到hdfs后,文件的所属者不同?通过执行 klist 发现,两台主机Kerberos认证的 principal 不同导致。


主机1:


主机2:


可知在有Kerberos认证时,由于设定的principal不同,导致上传hdfs的文件所属用户不同。因此需要重新设定 213 的principal。


Author: wangyw

Company: ffcs

Date: 2015-11-19




相关文章推荐

HDFS文件上传:8020端口拒绝连接问题解决!

忙了一整天,一直在解决hdfs上传文件时的错误,昨天最后有了一些头绪,但是没来得及验证,今天上午终于验证了自己的想法,从而顺利解决了困扰了自己许久的问题。以这个问题为契机,自己对Hadoop的配置文件...

上传到HDFS上的文件遇到乱码问题

今天写了一个小MapReduce的程序,跑在集群上一切正常,但是当我查看运行结果时却发现了bug,结果中的中文文字竟然是乱码;我就开始了我的找错之路。。。。 首先看看HDFS上我要用的文件本身内容有没...

HDFS 上传文件不均衡和Balancer太慢的问题

向HDFS上传文件,如果是从某个datanode开始上传文件,会导致上传的数据优先写满当前datanode的磁盘,这对于运行分布式程序是非常不利的。 解决的办法: 1、从其他非datanode节点...

Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法

1. 问题描述:          Eclipse中开发Java Web程序,使用Hadoop-Core JAR包中的Java API,上传文件到Hadoop HDFS文件系统中,上传提...
  • bikun
  • bikun
  • 2014年05月10日 21:03
  • 3265

HDFS文件的上传

  • 2017年05月21日 21:52
  • 1KB
  • 下载

上传文件到HDFS

  • 2015年10月30日 19:43
  • 2.42MB
  • 下载

java实现对hdfs文件系统的上传,下载,删除,创建文件夹的操作演示

java实现对hdfs文件系统的上传,下载,删除,创建文件夹的操作演示

数据采集之Web端上传文件到Hadoop HDFS

前言最近在公司接到一个任务,是关于数据采集方面的。 需求主要有3个: 通过web端上传文件到HDFS; 通过日志采集的方式导入到HDFS; 将数据库DB的表数据导入到HDFS。 正好最近都有在这方面...
  • lusyoe
  • lusyoe
  • 2017年03月11日 09:56
  • 1502

HDFS 使用java api实现上传/下载/删除文件

package hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import ...
  • i5secs
  • i5secs
  • 2011年12月31日 16:46
  • 5658

多个Flume合并一个channel上传文件到Hdfs

利用flume收集各个web服务器的日志文件(这里是tomcat的日志文件)上传到hdfs tomcat日志文件每一份中生成一次 flmue收集数据上传到hdfs  ---------------...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:上传到hdfs文件所属问题
举报原因:
原因补充:

(最多只允许输入30个字)