上传到hdfs文件所属问题

最新推荐文章于 2022-04-30 13:22:58 发布
最新推荐文章于 2022-04-30 13:22:58 发布
阅读量1k 收藏
点赞数
文章标签： hdfs kerberos 所属用户 principal root
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WYW3142731/article/details/49927975
版权
本文讨论了在HDFS中，相同用户上传文件后所属用户不同的问题。通过分析发现，主机1和主机2的Kerberos principal不同导致了文件上传后所属用户分别为cons和root。这影响了文件的删除权限，主机1可以删除其文件，而主机2因缺少权限无法删除。解决方案是调整主机2的Kerberos配置，确保principal与用户一致。
摘要由CSDN通过智能技术生成

背景描述:

主机1

服务器: 192.168.14.212     用户名: cons   所属组: dcs

主机2

服务器: 192.168.14.213     用户名: cons   所属组: dcs

 

在主机1上新建文件212.txt，主机2上新建文件213.txt。注: 两个文件的所属用户，所属用户组一致。

主机1:


主机2:



将2个文件分别上传到hdfs，上传完成后发现两个文件所属的用户不同。

主机1的所属用户是: cons:dcs，而主机2的所属用户是: root:dcs。

主机1:

最低0.47元/天 解锁文章
WYW3142731
关注
HDFS常用文件操作命令汇总
congge
12-26 1万+
常用的hdfs文件操作命令总结
Hadoop系列——HDFS文件系统的理解
Bernard's
07-14 261
1 观看10小时大数据入门第3章，回答以下问题。 a、不管文件file多大，都将其存放在一个节点上，是否实现了冗余备份？ 在视频中，“不管文件file多大，都将其存放在一个节点上”指的是没有对文件进行拆分/分散存储。而不是指将文件只存放在一个单独的节点上。 单独把这句话拿出来，只将文件只存放在一个单独的节点上，显然没有实现冗余备份。 b、将文件file拷贝并存放在多个节点上，这样实现了冗余备份了吗？ 实现了冗余备份。 比如现在很多大厂会采用磁带定期进行全盘备份，磁带便宜，但是不方便进行随机读写，所以
hdfs 上传文件失败
weixin_30847271的博客
08-09 227
报错：could only be replicated to 0 nodes instead of minReplication (=1) 原因：slaves 设置的内网ip，eclipse连不到 解决：slaves设置成外网ip，用windows能连接到 转载于:https://www.cnblogs.com/water-sky/p/5752235.html...
HDFS上传文件后datanode元数据目录和和datanode数据目录的变化
l1394049664的博客
09-08 1422
目录 1、namenode目录存储的元数据信息 2、datanode存储的数据块信息 3、上传一个大文件，大于128M，HDFS需要对文件进行分块存储 4、问题 HDFS2.7默认的块大小为128M，从下面的图中可以看出。 在根目录下上传四个文件，通过web页面可以查看到：http://192.168.254.101:50070/explorer.html#/ 1、namenod...
spark常用RDD算子 - saveAsTextFile、saveAsObjectFile 可保存到本地文件或hdfs系统中
小哇
08-13 4092
saveAsTextFile 函数原型 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受Pair..
HDFS上传的文件保存再本机的什么位置？
Jin__nan的博客
05-24 6659
在hdfs中创建文件，文件会被存储在哪里？ 会就近存储在相应的子节点中的Datanode文件夹中（如果没有特殊说明的话），主节点中不会有因为主节点中没有Datanode。 /usr/local/hadoop/tmp/dfs/data/current/BP-69599534-192.168.1.128-1524394754210/current/finalized/subdir0/subdir0...
linux上传文件夹到hdfs,Linux上传本地文件到Hadoop的HDFS文件系统
weixin_42303389的博客
05-15 4019
记录如何将本地文件上传至HDFS中前提是已经启动了hadoop成功(nodedate都成功启动)①先切换到HDFS用户②创建一个input文件夹zhangsf@hadoop1:~$ hdfs dfs -mkdir /input查看创建的文件夹在 hadoop1:50070中查看(我自己的对应的是： http://192.168.5.130:50070) ③将本地文件上传到HDFS，前面为 服务器...
HDFS文件系统
yandao的博客
04-25 2946
HDFS是Hadoop体系中最重要的组成部分，主要用于解决海量大数据的存储的问题，是目前应用最广的分布式文件存储系统。 1.HDFS解决传统文件存储的两个问题 当数据量越来越大时，会遇到存储的瓶颈，需要扩容 由于文件太大，上传和下载都非常耗时 解决： 扩容 纵向扩容：增加内存和磁盘 横向扩容：增加服务器的数量 分块：大的文件分成多个数据库，并行处理数据 2.HDFS的基本概念 2.1 NameNode(名称节点) NameNode是HDFS集群的主服务器，通常成为名称节点或者主节点。两大功能
flume消费kafka数据上传hdfs.doc
05-09
Flume 消费 Kafka 数据上传 HDFS ...Flume 消费 Kafka 数据上传 HDFS 需要考虑 Channel 的选择、FileChannel 优化、HDFS Sink 的小文件问题、Flume 拦截器的使用等问题，以确保数据传输的可靠性和高效性。
hadoop在Kerberos认证模式下的用户切换问题
weixin_34443490的博客
04-09 7233
hadoop使用到kerberos作为用户身份的一种认证方式。关于Kerberos的定义和用法，可以参考很多资料，这里就略过。 hadoop体系，hdfs,hbase，ｈｉｖｅ,spark等系统，事实上，都有权限控制体系，比如ＨＤＦＳ的读写权限控制，文件的所有者所属组等。kerberos在这里扮演的角色，事实上是一个验证的行为，告诉系统当前用户的身份是什么，方便权限控制系统进行判定。 　　对于
将两个文件student.txt和student_score.txt上传到hdfs上。使用Map/Reduce框架完成题目。
m0_46589413的博客
04-30 2138
现有student.txt和student_score.txt。将两个文件上传到hdfs上。使用Map/Reduce框架完成下面的题目。 1.将stduent.txt和student_score.txt连接，输出学号、姓名、课程、分数字段。如下所示 为输出的前2行： 2016001,王毅,操作系统,60 2016001,王毅,数据库,88 package b; import java.io.DataInput; import java.io.DataOutput; import java.io.IOE
将本地文件上传至HDFS
weixin_34352005的博客
11-07 1215
 //将本地文件上传到hdfs。  String target="hdfs://localhost:9000/user/Administrator/geoway_portal/tes2.dmp";  FileInputStream fis=new FileInputStream(new File("C:\\tes2.dmp"));//读取本地文件  Configuration config=new...
从本地上传整个文件夹到hdfs的java程序
qzlzwhx的专栏
07-25 4964
从本地上传整个文件夹到hdfs的java程序
Linux上传本地文件到hadoop的hdfs文件系统的3种方法
热门推荐
weixin_43631296的博客
08-11 2万+
1.在linux文件系统中创建一个test.csv文件： （1）用touch命令创建一个名为test.csv的文件 （2）ll命令显示文件信息 2.将本地的test.csv文件上传至hdfs文件系统中 方法一：-put命令，其中/user/tmp/为hdfs中的路径 hdfs dfs -put test.csv /user/tmp/ 方法二：-moveFromLocal命令 hdfs dfs -moveFromLocal test.csv /user/tmp/ ...
HDFS使用Kerberos
一只刚刚上路的猿
02-17 2万+
转载自：http://www.datastart.cn/tech/2016/06/07/kerberos-1.html 本文尝试记录HDFS各服务配置使用kerberos的过程，配置的东西比较多，一定会有疏漏。 我的环境： 三台服务器，分别命名为zelda1、zelda2、zelda3ubuntu 14.04hadoop 2.7.2spark 2.0/1.6.1
上传文件到HDFS
royesir的专栏
07-19 1万+
<br /><br />hadoop计算需要在hdfs文件系统上进行，文件上传到hdfs上通常有三种方法：a hadoop自带的dfs服务，put；b hadoop的API，Writer对象可以实现这一功能；c 调用OTL可执行程序，数据从数据库直接进入hadoop<br />  hadoop计算需要在hdfs文件系统上进行，因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有三种方法：<br />    a hadoop自带的dfs服务，put；<br /
怎么把csv文件上传到HDFS文件系统中
最新发布
06-13
你可以通过以下步骤将CSV文件上传到HDFS文件系统中： 1. 打开终端并登录到Hadoop集群的节点上。 2. 使用以下命令将CSV文件从本地文件系统上传到HDFS文件系统中： ``` hadoop fs -put /path/to/local/csv/file /...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值