- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 YARN工作原理
YARN工作原理： YARN比MapReduce1更具一般性，实际上MapReduce只是YARN应用的一种形式。相比经典的MapReduce来说，YARN的顶层包括更多的实体：(1)client客户端。(2)YARN资源管理器。负责协调集群上计算资源的分配。(3)YARN节点管理器。负责启动和监视集群中机器上的计算容器。(4)应用程序mas
2017-09-11 16:27:39
549
原创 YARN工作流程（MapReduce提交应用程序）
首先说工作流程1:用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。2:ResourceManager为该应用程序分配第一个Container，并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。3:ApplicationMas
2017-09-11 16:02:30
476
原创 HDFS读写流程
HDFS读写流程一: HDFS读文件流程 1：Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表( 也包含该列表各 block 的分布在 Datanode 地址的列表),也就是返回FSDataInputStream对象; 2：Client调用FSDataInputStream对象的
2017-09-11 14:19:42
502
NavicatPremiumforMac
2018-08-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人