Hadoop的体系结构

本文详细介绍了Hadoop的三大组件HDFS、YARN和HBase的体系结构。HDFS中,NameNode作为主节点管理元数据,DataNode存储数据块,SecondaryNameNode协助维护元数据。YARN以ResourceManager和NodeManager的主从结构调度MapReduce任务。HBase是一个基于HDFS的NoSQL数据库,采用HMaster和RegionServer的架构。所有这些组件都存在单点故障问题,需要解决策略。
摘要由CSDN通过智能技术生成

Hadoop的体系结构:都是主从结构

一、HDFS的体系结构

    1、NameNode:主节点

            http://192.168.160.111:50070

            


            (1)职责:管理维护HDFS

                            接收客户端的请求:上传、下载、创建目录等等

                                                            维护了两个非常重要的文件:edits文件 ---->记录操作日志

                                                                                                        fsimage文件----->HDFS的元信息

            (2)HDFS操作日志:edits文件

                        (*)位置:find . -name edits*

                                        最新的操作日志:edits_inprog

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值