【大数据】HDFS Java API配置用户（远程用户）

最新推荐文章于 2022-11-06 11:17:00 发布
最新推荐文章于 2022-11-06 11:17:00 发布
阅读量2.4k 收藏
点赞数
分类专栏： Hadoop Java 大数据 文章标签： HDFS Java API Java 远程用户 配置用户
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37793798/article/details/83417674
版权
这篇博客讲述了在使用HDFS Java API进行HDFS操作时遇到的权限问题。为了解决本地运行单元测试时出现的permission denied错误，文章详细介绍了如何在配置中设置远程用户，确保测试在不同机器上的结果一致性。
摘要由CSDN通过智能技术生成

2018.10.26

文章目录

前言

某项目使用HDFS Java API操作HDFS，但在本地机器运行单元测试时发现会出现permission denied的问题，原因是该单元测试是直接操作HDFS集群，而本地运行单测时默认会使用本地机器的登录用户去操作HDFS。为了保证单测在不同机器上运行结果一致，就需要在配置HDFS时设置集群环境中的远程用户。

方法

参考Hadoop Java API Doc1，使用UserGroupInformation创建一个远程用户：

UserGroupInformation ugi = UserGroupInformation.createRemoteUser('hdfsUser');
try {
   
	ugi
最低0.47元/天 解锁文章
guohaodong1024
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop HDFS API客户端配置
QYHuiiQ
07-10 641
https://github.com/cdarlint/winutils这里我下载的是3.1.0版本的。下载后解压，将其余版本的安装包删掉，只留下了我需要的3.1.0安装包： 如果双击的之后是闪了一下，那么说明安装成功，如果是出现下面的报错，则是由于缺少一些运行库。如果报错，可以参考这篇博客中的解决方法：https://blog.csdn.net/QYHuiiQ/article/details/125694148?spm=1001.2014.3001.5502 在src/main/resources
HDFS的JAVA API 操作
阿火
05-10 395
HDFS的JAVA API 操作 1.1 构建开发环境： 配置相应的java包（这里用的是IntelliJ IDEA） 1.2 构造客户端对象 在Java中操作HDFS,主要涉及以下Class: Configuration: 该类的对象封装了客户端或者服务器的配置； FileSystem: 该类的对象是一个文件系统对象，可以用该对象的一些方法来对•文件进行操作，通过FileSystem的静态方法get获取该对象。 FileSystem fs = FileSystem.get(conf)
Java连接hdfs指定用户
仙道Bob的专栏
03-09 1953
1.权限问题 Permission denied: user=Administrator, access=READ_EXECUTE, inode="/user/test/":test:hdfs:drwx------ 2.解决办法 一： 在系统环境变量或者JVM变量中添加HADOOP_USER_NAME 二：代码中设置环境变量(推荐) Configuration conf = new Configuration(); // 设定Java客户端访问HDFS的身份 System.setProp.
HDFS的JAVA API操作
shield911的博客
11-06 2785
HDFS JAVA API操作详解
hdfs java切换用户,如何在java中使用sparkSubmit更改hdfs中的用户
weixin_29175469的博客
03-19 245
我想更改hdfs中使用的用户与jvm中使用的用户相比,因为我有这个错误：Stream spark: org.apache.hadoop.security.AccessControlException:Permission denied: user=www, access=WRITE,node=”/user/www/.sparkStaging/application_1460635834146_00...
HiveAPI:用Java编写的Hive Rest API
05-11
总结来说，HiveAPI是Java开发的一个实用工具，它利用REST API封装了与Apache Hive的交互，使得在大数据环境下的数据操作变得更加简单、高效。通过理解HiveAPI的工作原理和使用场景，开发者能够更好地利用这个工具来...
Mapreduce的基础搭建以及Java API编程
06-23
MapReduce是大数据处理领域中的一个核心框架，由...总结，MapReduce是处理大数据的关键工具，它的基础搭建和Java API编程涉及广泛的技术和配置步骤。理解这些知识点有助于开发人员高效地利用Hadoop处理大规模数据任务。
分布式存储系统-HDFS.docx
10-01
在Eclipse中开发HDFS应用程序，需要安装Hadoop的Eclipse插件，并配置好Hadoop的相关环境变量，以便在IDE中编写、调试和运行Java程序，利用HDFS API进行数据操作。 ### Java接口及常用API HDFS提供了丰富的Java API...
HDFS实例基本操作
07-02
2. 使用HDFS API：对于Java应用程序，可以使用Hadoop的FSDataOutputStream类，通过创建一个FileSystem实例，然后调用`create()`方法来上传文件。 三、HDFS的文件下载 1. 命令行工具：使用`hadoop fs -get`命令将...
java集成datax所需pom依赖包
最新发布
04-09
Java集成DataX涉及到的是数据同步工具的使用，DataX是阿里巴巴开源的一款用于大数据搬移的工具，它能够高效地支持大量数据在不同数据存储之间进行迁移。在这个场景中，"java datax"标签表明我们将讨论如何在Java项目...
使用java api操作hdfs
sjhuangx的专栏
04-16 811
参考: https://blog.csdn.net/jiecxy/article/details/780116301. 首先创建一个maven项目，添加如下的hadoop-client依赖<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...
hadoop集群访问——Hadoop客户端访问、Java API访问
weixin_30878361的博客
04-11 778
上一篇中介绍了hadoop集群搭建方式，本文介绍集群的访问。集群的访问方式有两种：hadoop客户端访问，Java API访问。 一、集群客户端访问 　　Hadoop采用C/S架构，可以通过客户端对集群进行操作，其实在前面搭建的集群环境中，每个集群节点都可以作为一个客户端进行集群访问，但是一般场景下，会将集群服务器作为整体，从外部设置客户端对集群进行访问。 　　为了能从集群服务器外部访问，需...
JavaAPI实现hdfs文件增删改查
gltncx11的博客
11-21 692
package com.aimuti.hadoop.hdfs; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;...
Hadoop的javaAPI客户端HDFS配置使用详解
qq_27528193的博客
07-26 938
Log4j支持两种配置文件格式，一种是XML格式的文件，一种是Java特性文件lg4j.properties（键=值）在src/main/resources目录中增加日志配置文件log4j2.xml。创建扩展和定义的解析器类。
如何解决hadoop的JavaApi访问权限问题
Mrbabyxu的博客
11-25 938
问题来了哦： org.apache.hadoop.security.AccessControlException: Permission denied: user=bruce, access=WRITE, inode="/out2/_temporary/0":atguigu:supergroup:drwxr-xr-x 出现了这样一串报错：提示你没有访问权限！！！！！ 解决办法： pub...
hbase java api指定访问用户名
shenyunsese的专栏
09-01 2734
在默认情况情况，我们使用hbase的java api去访问hbase的服务时，使用的hbase的服务的用户名为启动java程序的系统用户名。 在有些情况下，我们要指定用户。如何指定呢，就是本文的内容。
hadoop2.6 UserGroupInformation 获取用户名
亚瑟的守护的专栏
12-30 6723
Hadoop的客户端是通过FileSystem类操作hdfs的。 FileSystem.get()方法获取FileSystem对象。 public static FileSystem get(final URI uri, final Configuration conf, final String user) throws IOException, InterruptedE
Hadoop：文件操作之Java接口(FileSystem类)
Jodness' Blogs
04-24 2580
目录 通过java.net.URL读取数据 通过FlieSystem API读写数据 读取数据 写入数据 新建目录 新建文件并写入 追加写入 一致模型 修改配置信息 通过FileStatus查询文件系统 查看文件系统信息 查看块信息 查看datanode信息 通过java.net.URL读取数据 让java程序能够识别hadoop的hdfs URL需要先通过FsUrl...
IDEA配置hdfs设置HADOOP_USER_NAME
m0_67402914的博客
04-03 3752
方法一 打开要设置类文件的Configurations 第二步name中写自己的用户名称就行 再重新运行java文件就可以了 方法二 在java文件中进行设置 FileSystem fs= FileSystem.get(new URI(“hdfs://自己hdfs的ip:9000”),conf,“自己的名称”); ...
使用HDFS java API在
04-20
答：您可以使用HDFS java API中的FileSystem类来创建一个新的文件夹。具体操作可以参考以下代码： ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值