Web方式访问HDFS

Hadoop提供了两种Web方式访问HDFS,分别是:WebHDFS和HttpFS。

 

WebHDFS

WebHDFS提供了访问HDFS的RESTful接口,是内置组件,并且默认开启,运行于NameNode和DataNode中,对HDFS文件的读写,将会重定向到文件所在的DataNode,并且会完全利用HDFS的带宽。;

WebHDFS访问时,首先访问NameNode获知文件所在的DataNode地址,然后重定向到目标DataNode获取文件内容;

WebHDFS默认端口是50070和50075;

WebHDFS使得集群外的客户端可以不安装Hadoop和Java环境就可以对HDFS进行访问,并且不限制编程语言;

 

默认的URL格式: webhdfs://<HOST>:<HTTP_PORT>/<PATH>

HTTP URL格式: http://<HOST>:<HTTP_PORT>/webhdfs/v1/<PATH>?op=...

 

WebHDFS提供的操作列表功能清单:

HTTP GET

• OPEN (see FileSystem.open)

• GETFILESTATUS (see FileSystem.getFileStatus)

• LISTSTATUS (see FileSystem.listStatus)

• GETCONTENTSUMMARY (see FileSystem.getContentSummary)

• GETFILECHECKSUM (see FileSystem.getFileChecksum)

• GETHOMEDIRECTORY (see FileSystem.getHomeDirectory)

• GETDELEGATIONTOKEN (see FileSystem.getDelegationToken)

HTTP PUT

• CREATE (see FileSystem.create)

• MKDIRS (see FileSystem.mkdirs)

• RENAME (see FileSystem.rename)

• SETREPLICATION (see FileSystem.setReplication)

• SETOWNER (see FileSystem.setOwner)

• SETPERMISSION (see FileSystem.setPermission)

• SETTIMES (see FileSystem.setTimes)

• RENEWDELEGATIONTOKEN (see DistributedFileSystem.renewDelegationToken)

• CANCELDELEGATIONTOKEN (see DistributedFileSystem.cancelDelegationToken)

HTTP POST

• APPEND (see FileSystem.append)

 

实例1

如下:http://127.0.0.1:50070/webhdfs/v1/test?op=LISTSTATUS

类似:hadoop fs -ls /test

 

 

 

实例2

上传文件,需要两次请求,第一次请求会返回第二次请求的URL,通过第二次的URL上传文件。 这两次请求都是PUT请求。

1、http://127.0.0.1:50070/webhdfs/v1/test/test2.txt?op=CREATE&overwrite=true&replication=2&noredirect=true

返回信息:

{

    "Location": "http://LAPTOP-CEJI62RD:9864/webhdfs/v1/test/test2.txt?op=CREATE&namenoderpcaddress=localhost:9000&createflag=&createparent=true&overwrite=true&replication=2"

}

如下图(postman请求)

 

2、http://LAPTOP-CEJI62RD:9864/webhdfs/v1/test/test2.txt?op=CREATE&namenoderpcaddress=localhost:9000&createflag=&createparent=true&overwrite=true&replication=2

第二次请求需要在请求的body中指定上传的文件,返回上传文件的数量,返回状态201表示上传成功, 如下图(postman请求)

 

HttpFS

HttpFS是独立于HDFS的一个服务(Java Web应用程序),通过内置的Jetty服务器对外提供服务。本质上是一个代理服务。客户端对HDFS文件的读写,将会通过HttpFS进行中转,然后由HttpFS去跟HDFS集群交互,它能限制带宽占用。HttpFS的使用需要手动配置安装,它的默认端口14000。

HttpFS 可用于访问防火墙后面的群集上的 HDFS 中的数据(HttpFS 服务器充当网关,并且是唯一允许通过防火墙进入群集的系统)。

HttpFS 具有内置安全功能,支持 Hadoop 伪身份验证和 HTTP SPNEGO Kerberos 和其他可插入身份验证机制。它还提供 Hadoop 代理用户支持。

 

HttpFS的配置

配置文件:hdfs-site.xml(或core-site.xml), 添加下面内容:

<property>  
    <name>hadoop.proxyuser.root.hosts</name>  
    <value>*</value>  
</property>  
<property>  
    <name>hadoop.proxyuser.root.groups</name>  
    <value>*</value>  
</property>

注:两个参数名称中的root代表的是启动hdfs服务的OS用户,应以实际的用户名称代替。 表示root用户可以在任意host主机节点上代表任意group组的用户。

 

HttpFS的启动

hdfs --daemon start httpfs

进程名称为: HttpFSServerWebServer

 

HttpFS的默认服务

Name

Description

/conf

Display configuration properties

/jmx

Java JMX management interface

/logLevel

Get or set log level per class

/logs

Display log files

/stacks

Display JVM stacks

/static/index.html

The static home page

如果要访问/conf, /jmx, /logLevel, /logs, 或 /stacks,需要在httpfs-site.xml中配置如下内容:

  <property>
    <name>hadoop.security.authorization</name>
    <value>true</value>
    <description>Is service-level authorization enabled?</description>
  </property>
  <property>
    <name>hadoop.security.instrumentation.requires.admin</name>
    <value>true</value>
    <description>
      Indicates if administrator ACLs are required to access
      instrumentation servlets (JMX, METRICS, CONF, STACKS).
    </description>
  </property>
  <property>
    <name>httpfs.http.administrators</name>
    <value></value>
    <description>ACL for the admins, this configuration is used to control
      who can access the default servlets for HttpFS server. The value
      should be a comma separated list of users and groups. The user list
      comes first and is separated by a space followed by the group list,
      e.g. "user1,user2 group1,group2". Both users and groups are optional,
      so "user1", " group1", "", "user1 group1", "user1,user2 group1,group2"
      are all valid (note the leading space in " group1"). '*' grants access
      to all users and groups, e.g. '*', '* ' and ' *' are all valid.
    </description>
  </property>

 

实例(使用curl命令):

0、 http://httpfs-host:14000/static/index.html

浏览器打开HttpFS的服务首页

1、 $ curl 'http://httpfs-host:14000/webhdfs/v1/user/foo/README.txt?op=OPEN&user.name=foo'

返回HDFS中/user/foo/README.txt文件的内容。

2、 $ curl 'http://httpfs-host:14000/webhdfs/v1/user/foo?op=LISTSTATUS&user.name=foo' 

returns the contents of the HDFS /user/foo directory in JSON format.

返回JSON格式化数据的HDFS中/user/foo目录下的内容。

3、 $ curl 'http://httpfs-host:14000/webhdfs/v1/user/foo?op=GETTRASHROOT&user.name=foo' 

返回“/user/foo/.Trash”路径,如果/是加密区域,则返回“/.Trash/foo”路径。

4、 $ curl -X POST 'http://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=MKDIRS&user.name=foo' 

创建HDFS目录:/user/foo/bar。

注: HttpFS访问时可以指定用户身份,使用参数:user.name (避免HTTP ERROR 401错误)

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

军大_j

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值