HDFS、YARN HA的区别

最新推荐文章于 2022-03-12 00:48:04 发布

wenwen16.

最新推荐文章于 2022-03-12 00:48:04 发布

阅读量426

点赞数 1

本文链接：https://blog.csdn.net/weixin_38729343/article/details/99704196

版权

一，hdfs、yarn部署的进程对比

hdfs做ha时
ruozedata001: ZK NN zkfc jn DN
ruozedata002: ZK NN zkfc jn DN
ruozedata003: ZK         jn DN

yarn做ha时
ruozedata001: ZK NN zkfc jn DN RM NM
ruozedata002: ZK NN zkfc jn DN RM NM
ruozedata003: ZK         jn DN    NM

通过上面的比较，yran在做ha时比hdfs多了一个rm

二、HDFS、YARN在做HA的时候架构是不一样的，原因是什么？
取决于hdfs和yarn自身的特性不同，hdfs是用来做存储，一个是做计算，
数据存储是至关重要的，数据同步或者数据质量有问题，计算指标写的再好也不起作用

三、HDFS中zkfc是进程，而YARN中zkfc是线程,也就是或ps -ef能看到rm，看不到zkfc

四、相同点
1、HDFS和YARN都是主从架构
master --》slave
master:nn 、rm slave:dn、nm

为什么dn、nm要部署在同一台机器上
dn/nm部署在同一台机器上的原因是数据本地化，计算的时候nm上面有一个container容器做task计算，计算的时候这台机器上有数据，则优先从本地拉取，具体的数据本地化在spark环节会涉及

整个HDFS集群由Namenode和Datanode构成master-worker（主从）模式。
Namenode负责构建命名空间，管理文件的元数据等，而Datanode负责实际存储数据，负责读写工作。

2、大数据生态圈大部分组件都是主从架构
提醒：大数据中的hbase组件进程master和regionserver 坑：hbase读写流程，是不经过master

关注