Hadoop webHDFS设置和使用说明

最新推荐文章于 2024-08-15 22:44:45 发布
最新推荐文章于 2024-08-15 22:44:45 发布
阅读量1.1w 收藏 7
点赞数 1
分类专栏： 云计算 文章标签： Hadoop curl webhdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ganglia/article/details/16806213
版权
本文介绍了如何配置Hadoop的WebHDFS，包括在namenode和datanode的hdfs-site.xml中设置dfs.webhdfs.enabled属性。接着详细阐述了通过webhdfs访问文件和目录的方法，如创建、读取、追加、重命名、删除文件及获取文件状态等操作。同时，提供了使用curl执行这些操作的示例。
摘要由CSDN通过智能技术生成

1.配置

namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true，否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令，因为这些信息都是由namenode来保存的。

在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属性： 
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>


2.使用说明

访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口，访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口，直接使用namenode的IP和端口进行所有的webhdfs操作，就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。


3.curl操作webhdfs

创建并写一个文件
curl -i -X PUT "http://localhost:50070/webhdfs/v1/<PATH&g

最低0.47元/天 解锁文章
云原生技术分享
关注
专栏目录
HDFS WEB API 测试
Terry Tsang
11-11 873
测试 hdfs restful 接口
WebHDFS REST API
来啊 快活啊
08-20 5623
Document Conventions Monospaced Used for commands, HTTP request and responses and code blocks. User entered values. [Monospaced] Optional values. When the va
Hadoop 教程 - Hadoop HDFS REST HTTP API
qq_33240556的博客
06-26 411
WebHDFS是HDFS的一个可选模块，它提供了一组REST API，使得客户端可以通过HTTP协议执行大部分HDFS操作，如创建、读取、写入、删除文件或目录等。这意味着你可以使用任何能够发起HTTP请求的工具或语言（如Python、JavaScript、curl等）来与HDFS交互。
Hadoop REST API – WebHDFS使用详解
x²＋(y－√³x²)²＝1的博客
05-15 3219
1、检查目录状态 Check directory status 命令： curl -i "http://localhost:50070/webhdfs/v1/tmp?user.name=istvan&op=GETFILESTATUS" #或者（去掉引号也可以） curl -i http://localhost:50070/webhdfs/v1/tmp?user.name=istvan&op=GETFILESTATUS 参数说明： 命令中的示例字段 实际操作时的字段说明
hadoop之HDFS安装配置
Cheney6的博客
08-23 1554
准备工作 是否安装JDK 是否配置静态IP 配置 IP和主机名映射 (根目录输入 vi /etc/hosts） 检查虚拟机时间是否同步，输入date查看 关闭防火墙： systemctl disable firewalld 1.免密设置 ssh one 先连接需要免密的服务器，输入yes exit 退出 cd .ssh ssh-keygen -t rsa 四个回车（可能要输y） ssh-copy-id two three four five（四个虚拟机名字）要免密哪台...
Hadoop环境安装及HDFS初步使用
最新发布
qq_67812668的博客
08-15 1183
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；
使用Node.js和WebHDFS REST API访问Hadoop HDFS数据
Tybyqi的博客
01-31 1293
可用服务 以下是可用的服务集： 1）文件和目录操作     1.1创建和写入文件：CREATE（HTTP PUT）     1.2附加到文件：APPEND（HTTP POST）     1.3打开并读取文件：OPEN（HTTP GET）     1.4创建目录：MKDIRS（HTTP PUT）     1.5重命名文件/目录：RENAME（HTTP PUT）     1.6删除文件/目录：D...
hadoop学习之WebHDFS (REST API)
cclovezbf的博客
07-26 2103
官网永远是学习最好的地方 https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html 为什么要用rest api呢? 使用这个之前我们是如何操作hdfs上的文件的？ 通过fs地址 和filesysterm， 现在webHdfs这个明显好用。。。 直接开搞。两种方式 一种是shell脚本 一种是java代码。 webhdfs已经开启 rest 端口为14000 ...
WebHdfs API使用和开放WebHdfs使用后权限控制
SeoHyunChyL的博客
09-21 3818
针对集群开放WebHdfs出现的安全隐患(用户可以通过API对集群数据进行任意操作) 需要进行权限控制。通过修改WebHdfs相关的源码来禁止不允许的集群操作行为。 与WebHdfs有关的源码均在hadoop-hdfs-2.7.2.jar下。相应的包名均包含"webhdfs" 。主要需要进行修改的源码文件包括org.apache.hadoop.hdfs.web.WebHdfsFileSystem.class和org
webhdfs-dataloader-v1
05-16
webhdfs-dataloader 一个数据加载器，它使用WebHdfs从Kafka中获取数据并将其加载到HDFS中。
hadoop开启webHDFS服务及测试
weixin_34365417的博客
12-03 584
WebHDFS观念是基于HTTP操作，比如GET、PUT、POST和DELETE。像OPEN、GETFILESTATUS、LISTSTATUS的操作是使用HTTP GET，其它的像CREAT、MKDIRS、RENAME、SETPERMISSION是依赖于HTTP PUT类型。 APPEND操作时基于HTTP POST类型，然而，DELETE是使用HTTP DELETE。...
Hadoop框架-HDFS-客户端API操作
丷江南南的博客
04-24 1004
(因为后续我们把关闭对象的操作也封装到了类中的另一方法内，关闭时需要调用该对象)接下来便可以编写代码了，为了方便后续使用，我们把。注意这里我们为mkdirs方法传入的参数仅为1个。命令把FileSystem对象升级为类中的一个。执行，所以只需要写需要执行的操作的代码即可。如果进行校验，则该crc文件不会产生。方法(获取客户端FileSystem对象)方法(关闭客户端FileSystem对象)服务器上，并且HDFS在hadoop的。同样，关闭资源的操作我们也封装到一个。当然，在执行以上操作前，首先要确保。
linux测试环境是启动web应用,Hadoop开启WebHDFS服务及测试
weixin_39758229的博客
05-10 140
WebHDFS观念是基于HTTP操作，比如GET、PUT、POST和DELETE。像OPEN、GETFILESTATUS、LISTSTATUS的操作是使用HTTP GET，其它的像CREAT、MKDIRS、RENAME、SETPERMISSION是依赖于HTTP PUT类型。 APPEND操作时基于HTTP POST类型，然而，DELETE是使用HTTP DELETE。在配置开源日志系统fluen...
Java&Python操作WebHDFS
在路上的学习者
05-18 3846
有用到通过java client或者python client操作HDFS，记录一下简单的代码片段。WebHDFS的认证方式WebHDFS的认证方式有三种：AuthenticationWhen security is off, the authenticated user is the username specified in the user.name query parameter. If t
快速搭建 HDFS 系统
m0_37929261的博客
03-26 296
参考：https://blog.csdn.net/qq_35246620/article/details/88576800 查看 ip 地址： hadoop fs.trash 的作用： 指在这个回收周期之内，文件实际上是被移动到trash的这个目录下面，而不是马上把数据删除掉。4320分钟=3天 参考：https://blog.csdn.net/bitcarmanlee/article/details/51464886 ...
Hadoop WEBHDFS简单配置，使用
qq85609655的博客
07-02 414
WEBHDFS是一个基于REST的接口。可以查看文件系统，以及文件的内容： 在hdfs-site.xml中配置： dfs.namenode.http-address Hadoop:50070 //这个可以不用配置 dfs.webhdfs.enabled true 启动之后，可以看使用如下命令检测， 获得目录...
hadoop hdfs-site.xml 配置
06-28
Hadoop HDFS（分布式文件系统）的配置文件hdfs-site.xml可以用来设置各种HDFS相关的属性。以下是一些常用的属性及其说明： 1. dfs.replication：指定HDFS中文件的副本数。默认为3，可以根据需要进行修改。 2. dfs....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值