HDFS客户端的权限错误:Permission denied

首先先来看一下这个错误的完整描述:

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。

(如果想看最终解决问题的方法拉到最后,如果想看我的问题解决思路请从上向下看)

问题描述

上传文件的代码:

private static void uploadToHdfs() throws FileNotFoundException,IOException {
        //我的文件地址
        String localSrc = "E:\\快盘\\技术文档\\hadoop\\HDFS初步研究.pdf";
        //存放在云端的目的地址
        String dest = "hdfs://192.168.2.156:9000/user/HDFS初步研究.pdf";
        InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
        //得到配置对象
        Configuration conf = new Configuration();
//        conf.set("fs.default.name","hdfs://192.168.2.156:9000");
        //文件系统
        FileSystem fs = FileSystem.get(URI.create(dest), conf);
        //输出流
        OutputStream out = fs.create(new Path(dest), new Progressable() {
            @Override
            public void progress() {
                System.out.println("上传完一个设定缓存区大小容量的文件!");
            }
        });
        //连接两个流,形成通道,使输入流向输出流传输数据
        IOUtils.copyBytes(in, out, 4096, true);
    }

错误的详细描述如下:

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

其实这个错误的原因很容易看出来,用户Administator在hadoop上执行写操作时被权限系统拒绝.

解决问题的过程

看到这个错误的,第一步就是将这个错误直接入放到百度google里面进行搜索。找到了N多篇文章,但是主要的思路就如此篇文章所写的两个解决办法:http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

在hdfs的配置文件中,将dfs.permissions修改为False

若没有这个property,就添加一下:

<property>
    <name>dfs.permissions</name>    
    <value>false</value>
</property>

问题大概就得以解决了,完全分布也不需要修改从节点,只需要在主机添加后重新启动即可。

若还没有解决,参考:http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值