HDFS介绍

Hadoop中包括两个重要组成部分:1.文件系统HDFS,2.一个是MapReduce并行计算框架

HDFS设计架构。

-块(Block)-NameNode -DataNode

块在操作系统文件系统中指一个固定大小的逻辑单元

HDFS的文件被分成块进行存储,HDFS块的默认大小64MB,块是文件存储处理的逻辑单元

HDFS中有两类节点,NameNode和DataNode

NameNode是管理节点,存放文件元数据:

1.文件与数据块的映射表2.数据块与数据节点的映射表

客户如何查询访问请求,客户端向管理节点NameNode查询元数据,返回的结果,知道这个文件存放在哪些节点上面,然后依次向这些节点去拿数据块,得到数据块之后,组装拼接成之前想要的文件。

DataNode是HDFS的工作节点,存放数据块。



  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS的Web页面提供了一种方便的方式来管理和监控Hadoop分布式文件系统。通过在浏览器中输入http://node01:50070(其中node01是NameNode所在的节点或IP地址),您可以登录HDFSWeb浏览器。 在登录后,您可以使用不同的选项来查看和管理HDFS的各个方面。其中一些选项包括: 1. datanodes:显示所有datanode节点的信息,这对于了解数据节点的状态和健康程度非常有用。 2. Datanode Volume Failures:显示失败的数据节点卷的信息,这对于排查和解决数据节点故障非常有帮助。 3. snapshot:显示HDFS文件系统的快照信息,这对于查看和管理文件系统的历史状态非常重要。 4. startupprogress:显示HDFS启动过程的详细信息,这对于监控和调试HDFS的启动过程非常有帮助。 5. Utilities Browse the file system:显示HDFS文件目录结构以及文件的详细信息,这对于浏览和查找特定文件非常有用。 此外,Web页面还提供了关于NameNode的存储路径的信息。NameNode存储数据的路径为/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits,而存储fsimage的路径为/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas。这些路径对于了解和管理NameNode存储的数据非常重要。 总之,HDFS的Web页面提供了一个方便的界面来管理和监控Hadoop分布式文件系统,您可以通过该页面查看节点信息、故障信息、快照信息,并浏览和管理文件系统的内容。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [HDFS-web界面介绍](https://blog.csdn.net/qq_45769990/article/details/109146764)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [hadoop之hdfs与yarn界面功能介绍](https://blog.csdn.net/qq_32641659/article/details/87912452)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值