hadoop的yarn之我拙见

接着昨天看到的hadoop的hdfs,今天我简单写下学习了yarn的理论知识之后的一些收获吧。

今天经过半小时的学习yarn,我的大体知识结构是:zookeeper–resource manager-node manager–application manager , 跟我们单体应用的分布式部署差不多,只是说这里的我们的输入数据和输出数据内容和格式以及之间的协议做了相应的改动,即所谓大数据,就需要有大的框架去处理嘛,不然就会出现硬件资源瓶颈,无法愉快的玩大数据了。这里 zookeeper相当于各个资源调度的存储中心,协调和配置各种资源信息,rm 就相当于各种资源如nm的集合,然后nm下是一个大型的节点,可以简单理解为为了使用大数据而部署和使用一套网络节点,然后每个nm下又包含了多个或者一个am,而每一个am就相当于我们单体应用比如使用java开发的某一个应用,这样子就很容易理解yarn了。当然了,其中每一个环节又包含了很多个子的节点或者模块,这样把各个模块组织和密切关联起来就形成了在hdfs之上的yarn架构,这样就可以利用大数据输入数据资源进行相关处理得出想要的结果。

不知道这样理解是否正确,还望路过的各位高抬贵手加以斧正。谢谢了。

另外,一些单词我使用了缩写如resource manager=rm.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值