接着昨天看到的hadoop的hdfs,今天我简单写下学习了yarn的理论知识之后的一些收获吧。
今天经过半小时的学习yarn,我的大体知识结构是:zookeeper–resource manager-node manager–application manager , 跟我们单体应用的分布式部署差不多,只是说这里的我们的输入数据和输出数据内容和格式以及之间的协议做了相应的改动,即所谓大数据,就需要有大的框架去处理嘛,不然就会出现硬件资源瓶颈,无法愉快的玩大数据了。这里 zookeeper相当于各个资源调度的存储中心,协调和配置各种资源信息,rm 就相当于各种资源如nm的集合,然后nm下是一个大型的节点,可以简单理解为为了使用大数据而部署和使用一套网络节点,然后每个nm下又包含了多个或者一个am,而每一个am就相当于我们单体应用比如使用java开发的某一个应用,这样子就很容易理解yarn了。当然了,其中每一个环节又包含了很多个子的节点或者模块,这样把各个模块组织和密切关联起来就形成了在hdfs之上的yarn架构,这样就可以利用大数据输入数据资源进行相关处理得出想要的结果。
不知道这样理解是否正确,还望路过的各位高抬贵手加以斧正。谢谢了。
另外,一些单词我使用了缩写如resource manager=rm.