yarn 介绍与spark2 提交

1.图

2.资源分配

1.可扩展性

2.可用性

3.利用率：tasktraker静态分配若干固定的map slot和reduce slot ，会出现仅有map slot可用reduce slot不可用，造成reduce等待的情况，yarn中一个节点管理器管理一个资源池，可不断回收重用。

4.多租户：向除了mapreduce以外的其他分布式应用开放了hadoop,甚至可以在同一个yarn上运行两个不同mapreduce版本的应用

二。yarn 调度选项：FIFO，容器调度，公平调度

spark2 提交

[root@master01 spark_submit]# vi submit.sh

spark2-submit --master yarn --class com.unisinsight.sparkDemo.Dologic2 --driver-memory 2g --num-executors 3 --executor-cores 8 --executor-memory 2g --conf spark.driver.maxResultSize=2g --conf spark.executor.heartbeatInterval=15s --conf spark.executor.memoryOverhead=3072 --conf spark.memory.useLegacyMode=true --conf spark.shuffle.memoryFraction=0.5 --conf spark.storage.memoryFraction=0.3 --queue production /home/spark_submit/sparkdemo.jar

三.主导资源公平性