HDFS&Yarn HA架构设计

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

1 hdfs HA 架构 图梳理
2 yarn HA 架构图梳理
3总结 hdfs yarn ha 架构区别 区别是ZKFC一个是进程一个是线程 ,一个是一个RMstatestore 一个是JN群集
4 hdfs dfs  - ls 结果 是哪个文件 三个操作不一样  思考。
5双写的理解 ?双写,比如hdfs 做HA(高可靠)的时候,有nn 不仅会读DN(active)发来的信息e,还会写入JN ,同时 另一个不是active的NN 会从JN 读信息同时 自己也执行这个操作
好yarn 中不一样的是 yarn 中 zkfc 是rm上的线程 而不是经程,它可能不如hdfs ,比较hdfs是专门存储,yarn做计算,在yarn的NM中 有自己的job ,NM会向中调容器资源,并向RM注册,RMsatestore 这个是来共享两个 RM
6小文件的危害 ?小文件如果很多 会照成如hdfs 读写的苦难,因为 会在nn dn 上产生更多的管理,所以如果每个block是128m ,管理的时候 尽量控制小文件的大小在100m比较好
7主从架构的hbase读写经过master进程吗? 尽管生态上,很多都是主从架构,如hadoop yarn 但是 hbase的读写 不经过master进程

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值