hdfs java切换用户_Java连接hdfs指定用户名

在Windows上使用Java客户端操作Hadoop集群HDFS时遇到权限问题,通过分析Hadoop源码,找到解决方案。主要涉及设置环境变量HADOOP_USER_NAME,避免使用chmod 777来授予所有用户权限,提高安全性。
摘要由CSDN通过智能技术生成

搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。

(如果想看最终解决问题的方法拉到最后,如果想看我的问题解决思路请从上向下看)

问题描述

上传文件的代码:

private static void uploadToHdfs() throws FileNotFoundException,IOException {

//我的文件地址

String localSrc = "E:\\快盘\\技术文档\\hadoop\\HDFS初步研究.pdf";

//存放在云端的目的地址

String dest = "hdfs://192.168.2.156:9000/user/HDFS初步研究.pdf";

InputStream in = new BufferedInputStream(new FileInputStream(localSrc));

//得到配置对象

Configuration conf = new Configuration();

//        conf.set("fs.default.name","hdfs://192.168.2.156:9000");

//文件系统

FileSystem fs = FileSystem.get(URI.create(dest), conf);

//输出流

OutputStream out = fs.create(new Path(dest), new Progr

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值