WebHDFS REST API 访问 hadoop 记录

Hadoop 3.2.1

一、Java包形式访问Hadoop,比较简单,网上例子较多

二、WebHDFS REST API 访问 hadoop,按网上例子有的报错,现在终于试成功了。

WebHDFS REST API帮助:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

1、文件夹、文件信息相关操作

网上例子基本是对的,需要访问namenode的IP和端口

mkdir:(需要加user.name=root或任何字符都行,否则提示Permission denied: user=dr.who,。。凡是新建、修改等等,都需要user.name参数。

【0522:今天不加user.name也可以了,哪位大神给分析一下怎么回事啊?】

list文件夹:

2、文件上传下载等

对文件的操作,需要访问datanode的IP和端口;还需要加参数namenoderpcaddress

参数namenoderpcaddress在我这里并不是1、中的namenode的IP,是自己设置的ip和端口(core-site.xml里设置的,只有这个端口是自定义的,其他端口都是默认的)。对此我也相当迷惑,虽然弄通了,却还是不明白为何如此,请大侠指点。(而java访问里,只需要设置这个自定义的ip和端口就可进行所有操作。)

open:(图中keypoint是文件名)

上传:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值