6、HDFS的HttpFS-代理服务

已于 2024-08-13 08:43:54 修改
阅读量6.7w 收藏 1
点赞数
分类专栏： # hadoop专栏 文章标签： hdfs hadoop 大数据 big data java
于 2023-04-24 10:22:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenwewi520feng/article/details/130336221
版权

Hadoop系列文章目录

1、hadoop3.1.4简单介绍及部署、简单验证
2、HDFS操作 - shell客户端
3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java
4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）
5、HDFS API的RESTful风格–WebHDFS
6、HDFS的HttpFS-代理服务
7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法
8、HDFS内存存储策略支持和“冷热温”存储
9、hadoop高可用HA集群部署及三种方式验证
10、HDFS小文件解决方案–Archive
11、hadoop环境下的Sequence File的读写与合并
12、HDFS Trash垃圾桶回收介绍与示例
13、HDFS Snapshot快照
14、HDFS 透明加密KMS
15、MapReduce介绍及wordcount
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN
17、MapReduce的分区Partition介绍
18、MapReduce的计数器与通过MapReduce读取/写入数据库示例
19、Join操作map side join 和 reduce side join
20、MapReduce 工作流介绍
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

目录

本文介绍HttpFS的使用。
可以与前一篇文章一起阅读。HDFS API的RESTful风格–WebHDFS
本文分为四部分，即介绍、配置、验证与和WebHDFS的比较。
本文阅读前提是已经部署好hadoop环境，具体部署参考hadoop3.1.4简单介绍及部署、简单验证

一、HttpFS介绍

1、HttpFS概述

  • HttpFS 是一个提供RESTful 接口的网关的服务器，该网关支持所有HDFS文件系统操作
  • 对于文件CURD的操作全部提交给HttpFS服务进行中转，然后由HttpFS去跟HDFS集群交互
  • HttpFS是一个独立于HDFS的服务，若使用需要手动安装。本质上是一个代理服务
  • HttpFS本身是Java Web应用程序。使用内置的Jetty服务器对外提供服务
  • HttpFS默认端口号为14000
    在这里插入图片描述

二、HttpFS配置

1、概述

配置允许通过代理访问的主机节点、用户所属组。core-site.xml配置文件。
服务端需要在NameNode和ResourceManager的core-site.xml中进行代理权限相关配置。 对于每一个superUser用户，配置参数：
在这里插入图片描述
对于每个superUser用户，hosts必须进行配置，而groups和users至少需要配置一个。
这几个配置项的值都可以使用*来表示允许所有的主机/用户组/用户

<property>
    <name>hadoop.proxyuser.userA.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.userA.users</name>
    <value>user1,user2</value>
</property>
 <!-- 表示允许用户userA，在任意主机节点，代理用户user1和user2 -->

2、java api 访问示例

// 创建superUser用户
    UserGroupInformation superUser = UserGroupInformation.getCurrentUser();
    //创建proxyUser用户
    UserGroupInformation proxyUgi = UserGroupInformation.createProxyUser(“proxyUser”, superUser);
    // 使用proxyUser用户访问集群
    proxyUgi.doAs(new PrivilegedExceptionAction<Void>() {
        @Override
        public Void run() throws Exception {
            // 使用proxy用户访问hdfs
            FileSystem fs = FileSystem.get(conf);
            fs.mkdirs(new Path(“/proxyUserDir”));
            // 使用proxy用户提交mr作业
            JobClient jc = new JobClient(conf);
         
            jc.submitJob(conf);
         
              return null;
      }
    });

3、本环境配置示例

alanchan用户是本hadoop集群的部署用户。

1)、修改配置文件

<property>
    <name>hadoop.proxyuser.alanchan.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.alanchan.groups</name>
    <value>*</value>
</property>

<!--
表示alanchan用户可以在任意host主机节点上代表任意group组的用户。
*表示所有。
-->

2）、同步配置文件并重启

同步配置文件到集群中其他节点，并重启HDFS集群

cd /usr/local/bigdata/hadoop-3.1.4/etc/hadoop

scp core-site.xml server2:/usr/local/bigdata/hadoop-3.1.4/etc/hadoop/
scp core-site.xml server3:/usr/local/bigdata/hadoop-3.1.4/etc/hadoop/
scp core-site.xml server4:/usr/local/bigdata/hadoop-3.1.4/etc/hadoop/

cd /usr/local/bigdata/hadoop-3.1.4/sbin
start-all.sh
stop-all.sh

3）、启动HttpFS

# 启动
hdfs --daemon start httpfs
# 关闭
hdfs --daemon stop httpfs

[alanchan@server1 sbin]$ hdfs --daemon start httpfs
WARNING: /usr/local/bigdata/hadoop-3.1.4/temp does not exist. Creating.
# 验证进程
[alanchan@server1 sbin]$ jps
28276 NameNode
30712 Jps
28872 ResourceManager
30460 HttpFSServerWebServer

# HttpFSServerWebServer该进程为HttpFS进程

三、HttpFS配置验证

1、验证

通过查看进程是否启动以及通过页面是否可以访问、使用来验证配置正确与否。

[alanchan@server1 sbin]$ jps
30460 HttpFSServerWebServer

访问HttpFS服务
在这里插入图片描述
http://server1:14000/static/index.html
在这里插入图片描述
HttpFS访问指定用户身份
http://server1:14000/webhdfs/v1?op=LISTSTATUS
在这里插入图片描述
http://server1:14000/webhdfs/v1?user.name=alanchan&op=LISTSTATUS
user.name=alanchan，是core-site.xml中配置的用户
在这里插入图片描述
通过以上的命令行验证以及页面验证，可发现如预期，则表明配置正确。

2、使用示例

查看文件及其文件夹，本示例是查看根目录下，对应的命令：hadoop fs -ls /test
http://server1:14000/webhdfs/v1/test?user.name=alanchan&op=LISTSTATUS
test是路径，其目录下有2个文件
在这里插入图片描述

四、HttpFS与WebHDFS的比较

1、WebHDFS

  • HDFS内置、默认开启
  • 基于REST的HDFS API
  • 重定向到资源所在的datanode
  • 客户端会和nn、dn交互
  • 使用内置的WebHDFS REST API操作访问
    http://server1:9870/webhdfs/v1/?op=LISTSTATUS
    端口由dfs.namenode.http-address指定。默认值9870

2、HttpFS

  • 独立服务，手动开启
  • 基于REST的HDFS API
  • 数据先传输到该httpfs server，再由其传输到client
  • 客户端不跟hdfs直接交互
  • 使用HttpFS web Server 服务操作访问
    http://server1:14000/webhdfs/v1?user.name=alanchan&op=LISTSTATUS
    端口：14000

外部系统使用一般推荐HttpFS，不过取决于实际的应用环境情况。

hadoop配置文件详解系列（二）-hdfs-site.xml篇
关于代码的那些事
03-09 2697
上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 　 处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 d
Httpfs服务器
weixin_47011327的博客
09-26 410
开启httpfs服务器： 1.首先在core-site.xml文件中添加允许通过代理访问的主机节点、用户所属组的代码 【其中guanqimin为我的用户名】 2.修改完成后对其他从机进行分发：xsync $HADOOP_HOME/etc/hadoop/core-site.xml 3.启动httpfs服务：hdfs --daemon start httpfs 4.hdfs和yarn的更新同步处理（最重要的一步）： hdfs dfsadmin -refreshSuperUserGroup...
Hadoop HDFS 的 HttpFS
weixin_30273763的博客
08-04 246
参考 Hadoop权威指南 第3章中3.4节 背景 要写一个操作HDFS的web后台(文件CRUD)，虽然可以直接使用HDFS提供的FileSystem类然后通过get方法获取到一个DistributedFileSystem（假设提供的文件url的模式是hdfs://开头）的实例来操作HDFS，但是这种方法有个限制就是调用方必须能和HDFS集群中的所有主机通信。然后这个要求有时并不能满足，比如...
HDFS源码剖析-HDFS的鉴权
派大星的技术人生
04-22 1319
1 HDFS权限控制和ACL 官网文档：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html 中文翻译：https://blog.csdn.net/shubingzhuoxue/article/details/50072271 acl涉及的参数： dfs....
C++通过http协议操作hdfs
深之JohnChen的专栏
11-23 1612
一、http协议存在hdfs组件 通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namenode上传，客户端有可能访问多个机器。而httpfs，所有的操作都...
通过httpfs的rest接口上传文件到hdfs文件系统
qq_37927069的博客
09-18 853
通过yarn的rest接口上传文件到hdfs文件系统，基于httpclient 5.0 import java.io.File; import org.apache.hc.client5.http.classic.methods.HttpPut; import org.apache.hc.client5.http.entity.mime.FileBody; import org.apache.hc.client5.http.entity.mime.MultipartEntityBuilder; import
hdfs之WebHDFS和HttpFS介绍
breakout_alex的博客
10-08 1973
前言 HDFS提供了Java Native API，客户端应用程序使用它可以高效的访问HDFS。如果客户端应用程序位于HDFS集群之外怎么办？且无法安装整个Hadoop库和Java库的情况下，就需要其他方式解决这种使用场景，例如：Yahoo的HFTP和HdfsProxy V3，Cloudera的Hoop。但是大浪淘沙，目前胜出的就是这两个了。 WebHDFS和HttpFS WebHDF...
HDFS的HttpFS代理服务：RESTful接口与配置详解
HDFS的HttpFS-代理服务是一种基于RESTful风格的代理服务器，它为HDFS（Hadoop分布式文件系统）提供了一种更易于访问和管理的接口。在Hadoop环境中，当需要对文件系统进行CURD（创建(Create), 更新(Update), 读取...
hadoop之HDFS
qq_17200461的博客
11-07 2990
Hadoop之HDFS简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 功能快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/C
3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件
05-29
3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 网址：https://blog.csdn.net/chenwewi520feng/article/details/130326202 本示例介绍java通过api操作hdfs。 主要包含HDFS的读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等。 本文分为2个部分，即环境准备和示例。
httpfs：httpfs是使用FUSE实现的跨平台HTTP支持的文件系统
02-03
httpfs httpfs是使用FUSE实现的跨平台HTTP支持的文件系统。 它通过HTTP / HTTPS提供了一个后端API，以为FUSE前端提供大多数POSIX文件系统调用，该FUSE前端将该API呈现为看起来和感觉像普通文件系统的外观。 安装 资源 $ go install github.com/prologic/httpfs/... OS X自制软件 $ brew tap prologic/httpfs $ brew install --HEAD httpfs httpfs仍处于起步阶段，因此我们非常感谢您的贡献，想法和专业知识！ 其他平台 请注意，目前（2016年11月30日），仅在安装了Homebrew Go 1.7和最新版本bazil.org/fuse的Mac OS X上支持并测试了httpfs 从理论上讲，只要满足以下要求，就应该可以为其他平台构建httpfs： 去1.7+ 保险丝/ OSXFUSE 用法 旋转后端： $ httpfs -root /path/to/dir 挂载它： $ httpfsmount -url http://localhost:8
配置HDFS HttpFS和WebHDFS
weixin_33810302的博客
10-28 562
HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。 默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。 WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如...
hdfs restful API：httpfs与webhdfs的简单使用
学亮编程手记
09-23 711
HttpFS和WebHDFS 通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。 webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namen HttpFS和WebHDFS 通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、data
[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS
Maynor的博客
09-29 1150
前言 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 历史文章 [hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS ????HTTPFS概述 l HttpHDFS本质上和WebHDFS是一样的，都是提供HTTP REST API功能，但它们的区别是HttpHDFS是HttpFS是一个独立于HadoopNameNode的服务，它本身就是J
HTTP方式在线访问Hadoop HDFS上的文件解决方案
最新发布
Alex的博客
04-28 2857
为了通过HTTP方式在线访问HDFS上的文件，您可以利用WebHDFS REST API或者HttpFS Gateway这两种机制实现。 1：httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口，通过WebHDFS REST API 可以对hdfs进行读写等访问2：与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一个节点，通过httpfs可以访问放置在防火墙后面的hadoop集群3：httpfs是一个Web应用,部署在内嵌的tomcat中。
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor的博客
09-28 3022
目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
12 HDFS的Trash回收机制
lovetg0419的博客
12-18 211
一、HDFS的Trash回收机制 Trash回收机制应用场景 放置用户手一抖彻底删除数据，当放置到Trash回收站里，还可以再次恢复数据。 Trash回收站原理 当用户默认删除数据的时候，并不是直接从物理磁盘删掉，而只是将文件移动到指定的文件夹下，如果一致不恢复数据（根据默认时间7天等相关参数），Trash数据将从磁盘中抹掉。 <property> <name>fs.trash.interval</nam...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一瓢一瓢的饮 alanchanchn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值