eclipse上hdfs的javaapi调用文件或者获取节点信息没有权限

原创 2013年12月04日 17:05:23

问题原因:

客户端(eclipse)的用户,也就使用是api操作hdfs的用户,默认的是windows的用户(可能都是Admiistrator),与集群的超级用户不一致,所以有些操作,权限不足。

解决方法:

对于0.2版本

对于版本稍低的hadoop,可以在eclipse的Map/Reduce Location 内配置用户,其中的Advanced paramenters内有个hadoop.job.ugi选项可以设置。

1.03版本

对于较新版本hadoop(我的是1.0.3),找不到该选项,所有则呢更改用户暂时不清楚,希望知道的人说一下。这里给出一种极端的解决方法,就是在集群的master上更改配置文件hdfs.-site.xml.加入以下内容:

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

这里是取消检查用户权限。实际应用的时候,服务器可以使用跟hadoop集群同一个用户名即可。

通过JAVA API上传文件到HDFS

hdfs操作注意事项  注意关闭虚拟机防火墙设置如果开启了翻墙代理,注意调整到本地模式在core-site.xml中配置时,不要使用localhost,而应该使用虚拟机IP地址,否则无法连接到虚...
  • FYJ_jie
  • FYJ_jie
  • 2017年12月29日 14:43
  • 27

eclipse通过hdfs提供的api对hdfs进行文件操作

上一文介绍了在本机windows搭建一个伪分布式环境,接下来就是在eclipse进行hdfs文件的读写等操作。 第一步需要获取eclipse进行hadoop开发的插件支持,hadoop第一代和第二代...
  • pangliang_csdn
  • pangliang_csdn
  • 2017年05月18日 17:33
  • 654

在hdfs中创建文件夹,出现权限问题。

报错:mkdir: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 解决方...
  • Rong_89
  • Rong_89
  • 2015年03月06日 11:30
  • 1609

修改hdfs上的文件所属用户、所属组等读写执行控制权限

HDFS支持权限控制,但支持较弱。HDFS的设计是基于POSIX模型的,支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下,可以使用下面的命令修改文件的权限、文件所有者,文件所属组:...
  • xianjie0318
  • xianjie0318
  • 2017年07月20日 09:00
  • 4071

HDFS主要节点讲解(一)节点功能

简单明了的介绍下HDFS几个节点
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2014年05月27日 16:08
  • 4743

Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法

1. 问题描述:          Eclipse中开发Java Web程序,使用Hadoop-Core JAR包中的Java API,上传文件到Hadoop HDFS文件系统中,上传提...
  • bikun
  • bikun
  • 2014年05月10日 21:03
  • 3663

hadoop 用户创建data目录时 DataNode无法启动

场景:Centos 6.4 X64      hadoop 0.20.205 配置文件 hdfs-site.xml      dfs.name.dir /usr...
  • liema2000
  • liema2000
  • 2013年04月10日 21:36
  • 2276

HDFS文件权限及ACL访问控制

Hdfs文件权限及ACL访问控制
  • sudaxhh
  • sudaxhh
  • 2016年08月27日 12:50
  • 2039

Linux之文件类型和权限的获取与操作

最近两天学习了有关文件属性的获取和操作,下面是在学习过程中的一个例程。 Linux中有关文件属性的信息存储在struct stat这个结构体中: struct stat { ...
  • frank_jb
  • frank_jb
  • 2016年07月06日 13:19
  • 743

js跨域调用iframe子页面的函数 提示"没有权限"

解决方法:js所在页面的网站必须和iframe子页面所在wangz
  • u011116642
  • u011116642
  • 2014年08月17日 11:19
  • 3364
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:eclipse上hdfs的javaapi调用文件或者获取节点信息没有权限
举报原因:
原因补充:

(最多只允许输入30个字)