Hadoop原理解析
1、HDFS
·高可用
·读写流程
2、YARN
·整体架构
·调度+资源隔离
江城子v3
当你的才华不足以支撑你的野心时,就要静下心来努力学习!
展开
-
1、HDFS整体概述
Hadoop 是Apache基金会下一个开源的分布式存储计算平台,它以分布式文件系统HDFS和分布式计算系统MapReduce为核心,为用户提供了系统底层细节透明的分布式基础架构。原创 2020-08-09 20:48:08 · 230 阅读 · 0 评论 -
2、HDFS读写流程
客户端要向HDFS写数据,首先要跟NN通信以确认可以写文件并获得接收文件block的DN,然后客户端按顺序将文件逐个block传递给相应DN,并由接收到block的DN负责向其他DN复制block的副本。原创 2020-08-09 20:48:44 · 105 阅读 · 0 评论 -
3、Yarn整体概述
在Hadoop2.0中, YARN负责管理MR中的资源(MEM、CPU等)并且将其打包成Container,这样可以精简MR使之专注于其擅长的数据处理任务而无需考虑资源调度。原创 2020-10-11 15:57:09 · 308 阅读 · 0 评论 -
4、Yarn资源隔离
YARN中集成了CGroups的功能,使得NodeManger可以对Container的CPU资源使用进行控制,如可以对单个container的CPU使用进行控制,也可以对NodeManger管理的总CPU进行控制。原创 2020-10-21 14:19:00 · 528 阅读 · 0 评论