一.yarn 架构

二.yarn在spark官网的位置

1.Delpoying 的 yarn
2.官网位置截图

二.spark -submit 提交到yarn

1.官网提交实例

2.自己测试提交改进官网实例


spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  /soft/spark/examples/jars/spark-examples_2.11-2.1.1.jar \
  3
spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn-cluster  \
  /soft/spark/examples/jars/spark-examples_2.11-2.1.1.jar \
  3

3.总结：
yarn = yarn client 单独写yarn 与 deploy-mode 后面写 yarn client 一样
4.提交可能遇到这个错误

5.原因：
spark 要用yarn 你得告诉人配置在哪
命令行 export HADOOP_CONF_DIR 等
配置到命令行值当前有效，但是你要配置到spark-env 中可以永久有效

三.spark-submit 提交到yarn的日志

1.提交日志的显示

2.流程解释


    首先把spark的jars包里面的包要全部传上来
    配置文件也要放上来
    要看这个参数配没配置 spark.yarn.jars nor spark.yarn.archive

四.spark-submit 提交到yarn加快速度，不用每次都去提交spark的jars

1.配置参数


 Neither spark.yarn.jars nor spark.yarn.archive is set,
  falling back to uploading libraries under SPARK_HOME.

2.官网位置

3.你要配置在spark-defalut.conf中，配置如下
首先你要把你的spark中的jars所用jar包传到hdfs上
之后你要spark.yarn.jars = hdfs路径
在提交的时候就不会有提交yarn前面每次都是上传的日志了
4.对于每次都会有很久的accetped 申请资源的日志，这是正常现象，需要看资源是否满足才给申请

五.spark-submit 提交到yarn的一些参数

1.查看参数 spark-submit —help
2.参数截图

3.主要用参数解释
—num-executors 默认是有两个-executor
—executor-cores 在yarn中默认每个executor一个core
—executor-memory MEM Memory per executor (e.g. 1000M, 2G) (Default: 1G). 默认每个executor 内存是1G

五.yarn面试常问的问题

1.yarn有什么状态，先经过什么，在经过什么
在yarn8088界面左侧显示

2.yarn-client模式与 cluster模式有什么区别


最明显区别：
主要看driver运行在哪里
client 模式driver运行在提交的这台机器，就是运行在本地
cluster 模式 driver运行在 AM 里
区别二：
client如果driver在集群外要频繁与executor通信好资源，
client模式下客户机可以是集群之外或之内的，如果是之内的
网络请求频次会非常高，如果100个driver都启动在一台机器
那么会driver 与 executor频繁通信
如果是cluster ：
driver在AM里，AM在nodemanager上的contains 容器里
所以不需要频繁通信，每台机器上都有
通信在集群内部对网络会好些
区别三：
client 不可以crtl + c 把客户端干掉要不就没法与executor通信了
cluster 通过客户端提交到集群上客户端有没有无所谓了
区别四：
client模式在客户端可以看到日志
cluster 你是看不到日志的，日志在yarn上所以看不到

3.cluster 模式 Driver 运行在AM里面图片

4.client模式 Driver运行在本地

spark 与 yarn 结合