YARN 总结:
“定义”: Yarn 是一个 !运算资源! (cpu 内存 网络 Io…)管理系统, 主要负责 集群资源的管理 和 调度监控任务进度
“作用”: YARN可以为不同的分布式运算框架提供资源分配和任务监控服务
例如: MapReduce
spark
hive等
“资源管理的意义”:1.它会对集群中各类的资源进行抽象,
然后根据各种应用程序或者服务的要求,按照一定的调度策略将资源分配给她们使用
2.资源管理采用一定的隔离机制防止应用程序或者服务之间因为抢占资源而互相干扰
3.它弱化了计算框架之争,是他们都可以发挥自己的优势
4.yarn进行统一的管理,可以使各大框架有条不紊的运行在一个大的集群上
安装:1.到 cd /opt/apps/hadoop-3.1.1/etc/hadoop/ 配置yarn-site.xml
<!-- resourcemanager主节点所在机器 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux01</value>
</property>
<!-- 为mr程序提供shuffle服务 http下载-->
<property>
<name>yarn.nodemanager.aux-