HDFS的web接口

最新推荐文章于 2024-03-09 13:44:58 发布
最新推荐文章于 2024-03-09 13:44:58 发布
阅读量6k 收藏 2
点赞数
分类专栏： hadoop

HDFS对外提供了可供访问的http server，开放了很多端口，下面介绍常用的几个端口。

50070端口

查看NameNode状态，如图4-59所示。


该端口的定义位于core-default.xml中，如图4-60所示，读者可以在core-site.xml中自行修改。


图4-60

如果读者通过该端口看着这个页面，以为着NameNode节点是存活的。

50075端口

查看DataNode的，如图4-61所示。


该地址和端口的定义位于hdfs-default.xml中，如图4-62所示，读者可以在hdfs-site.xml中自行修改。


图4-62

50090端口

查看SecondaryNameNode的

50030端口

查看JobTracker状态的，如图4-63所示。


该端口定义在mapred-default.xml中，如图4-64，读者可以在mapred-site.xml中自行修改


图4-64

50060端口

查看TaskTracker，如图4-65所示。


该端口定义位于mapred-default.xml，如图4-66，读者可以在mapred-site.xml中自行修改。


图4-66


zhengbo0
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
webhdfs：Hadoop WebHDFS的Ruby客户端
03-01
安装gem install webhdfs用法WebHDFS :: Client 对于客户端对象接口： require 'webhdfs'client = WebHDFS::Client.new(hostname, port)# or with pseudo username authenticationclient = WebHDFS::Client.new...
Web方式访问HDFS
moyefeng198436的专栏
02-02 9934
Hadoop提供了两种Web方式访问HDFS，分别是：WebHDFS和HttpFS。 WebHDFS WebHDFS提供了访问HDFS的RESTful接口，是内置组件，并且默认开启，运行于NameNode和DataNode中，对HDFS文件的读写，将会重定向到文件所在的DataNode，并且会完全利用HDFS的带宽。； WebHDFS访问时，首先访问NameNode获知文件所在的DataNode地址，然后重定向到目标DataNode获取文件内容； WebHDFS默认端口是50070和50075.
[Hadoop基础]-- web hdfs端口50075和httpfs端口14000的使用
欢迎来到我的博客，一起探索代码里的世界！
02-23 1万+
参考文档 CDH介绍hadoop组件的端口： https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_ports_cdh5.html Hadoop官方介绍web hdfs： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs...
Hadoop的UI页面介绍
最新发布
zcs2312852665的博客
03-09 1680
本文将介绍Hadoop分布式文件系统（HDFS）和YARN的用户界面（UI）页面。通过这些UI页面，用户可以方便地查看集群的状态、节点信息、应用程序运行情况等，提高管理和监控效率。了解和使用HDFS和YARN的UI页面对于有效地管理和利用Hadoop集群至关重要。概述页面包括hadoop集群的概述信息、HDFS内存使用总结信息、NameNode 日志状态信息、NameNode 存储信息、NameNode 存储类型信息。应用程序页面可以查看集群指标、集群节点指标、用户指标、调度指标和程序运行情况等信息。
hdfs的web端口
zhoudado921的博客
11-06 6002
HDFS对外提供了可访问的http server，开放了很多端口，下面介绍几个常用的端口： 50070端口，查看NameNode状态 50075端口，查看DataNode 50090端口，查看secondaryNameNode 50030端口，查看JobTracker状态 50060端口，查看TaskTracker ...
HDFS—Web页面操作
m0_47792921的博客
09-03 1万+
Hadoop集群启动后，可以通过浏览器Web界面查看HDFS集群的状态信息，访问IP为NameNode所在服务器的IP地址，访问端口默认为50070。 1，首先我们在命令行界面输入 ifconfig 命令： 这样就可以查看本机的ip地址，例如我的机器ip为192.168.2.130 2，打开浏览器输入 ip：50070 例如我的访问地址为 192.168.2.130:50070 点击Overview就可以查看文件系统的基本信息，例如系统启动时间，Hadoop版本号，Hadoop源.
hadoop3访问hdfs web控制页面遇到的各种问题总结
web_15534206248的博客
08-17 1891
最近通过虚拟机安装配置了hadoop集群，集群虽然搭建起来了，不过通过浏览器访问管理界面的过程中遇到了一些问题，现整理总结一下。
hdfs-connector:抽象访问hdfs的接口，实现restful方式
07-14
#Access hdfs with rest 抽象访问hdfs的接口，实现一种restful方式。 ##1。 要求我使用的hdfs是hadoop2.2.0，它支持以restful方式访问文件系统，首先web-hdfs服务应该是打开的，所以配置hadoop并确保以下内容包含在$...
HDFS简介
01-07
一、HDFS的简介 分布式文件系统 HDFS Hadoop Distributed FileSystem 基于流数据访问模式处理超大规模的文件 适合应用大规模的数据...shell命令接口 机架感知 负载均衡 web界面 三、HDFS的目标 检测和快速恢复硬件故障
Php-Hadoop-Hdfs:通过 CLI 和 WebHDFS 用于 HDFS 的 PHP 客户端
06-01
$ hdfs = new \ Hdfs \ Web (); $ hdfs -> configure ( $ host , $ port , $ user ); 更改本地文件系统的包装器。 如果您需要 hdfs 与另一个远程服务而不是本地 FS 交互，请使用它 $ hdfs -> ...
node-hdfs:Node.js HDFS接口
05-24
这是用于与Web HDFS界面通信的node.js界面。 如何使用 正在安装 在使用此模块之前，我们需要先安装它 $ npm install --save hdfs247 在不安全的群集上使用 var Hdfs = require ( 'hdfs' ) , localpath = '/tmp/...
HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）
06-11
在搭建完hadoop大数据系统（CDH5.16.1）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。
Hadoop集群启动后利用Web界面管理HDFS
热门推荐
qq_27052367的博客
10-10 1万+
Hadoop集群启动后，可以通过自带的浏览器Web界面查看HDFS集群的状态信息，访问IP为NameNode所在服务器的IP地址，在浏览器地址栏中输入192.168.107.131：50070即可打开HDFS的web界面。例如我的NameNode所在服务器的IP地址为192.168.107.131。下面测试版本为Hadoop3.0以后的。
Hadoop常见端口号及配置文件
2301_76522810的博客
05-10 1561
3.5 Hadoop 2.x和Hadoop 3.x的区别之处在于：slaves（Hadoop 2.x）/workers（Hadoop 3.x）2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)）3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）
三、web端显示之hdfs基本操作
qq_58190654的博客
11-19 1597
在hdfs-site.xml中配置了Hadoop1对应端口号9870，所以在web端可以显示如下界面。可以进行创建，上传，下载视频，泡泡堂，文档，图片等等，当一个免费版网盘使用。web页面只是展示，实际数据存储在datanode节点，】点击所上传文件名可下载download，下载好之后可打开阅读。三台的节点均启动成功之后， 完全匹配的上配置的下图所示情况。在Xshell中自己创建一个目录，这里我创建的是lyy。jps一下发现成功启动，可查看web端。上传途径有两种，一种是在web端上传。
Hadoop 大数据平台常用组件端口号汇总
0x8g1T9E-
03-10 3830
组件 端口及说明 CDH 7180： Cloudera Manager WebUI端口 7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 ...
配置hadoop-3.3.0遇到的坑
方法属性类，一个都不会
08-09 1206
1、hdfs的web页面默认端口是9870 yarn的web页面端口是8088 http://192.168.134.132:8088/ http://192.168.134.132:9870/ 2./opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves里面的slaves文件变成了workers 3.在进行namenode格式化时报错： 解决办法： 在/opt/hadoop/hadoop-3.3.0/sbin/start-dfs.sh中添加： .
HDFS概述和Shell操作
weixin_30914981的博客
08-15 216
大数据技术之Hadoop（HDFS） 第一章 HDFS概述 HDFS组成架构 HDFS文件块大小 第二章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 $ bin/hadoop fs [-appendToFi...
hadoop原生集群各个组件常用默认端口服务
qq_41919284的博客
10-15 999
Hdfs自定义端口：9000 Yarn的web访问端口：8088 Tomcat端口：8080 Hdfsweb默认端口8020 Hdfsweb访问端口：50070 Hbase的web访问端口：10610 Zookeeper默认端口：2181 Broker 端口：9092 启动kafka的生产者的端口 启动kafka的消费者的端口：zookeeper的2181 Flume中netca的端口：4444...
HDFS的三种访问方式
06-13
1. Shell命令行：HDFS提供了一组类似于Unix Shell的命令行接口，可以通过命令行对HDFS文件系统进行管理和操作，例如上传、下载、创建、删除等。使用Shell命令行需要安装Hadoop集群并配置好环境变量。 2. Java API：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值