sparkOnYarn基础流程

在yarn上运行的基本操作

• 程序提交的服务器需要包含HADOOP_CONF_DIR 或者 YARN_CONF_DIR环境变量，指向包含hadoop集群配置的文件目录

• 因为程序提交时，不会指定 与 HDFS , YARN resourceMamager交互的地址和端口，是从服务器环境变量找到对于的配置文件去读取相应的配置

• spark on yarn的两种运行方式：

  • cluster 模式：客户端初始化程序后退出了，driver程序会运行在集群上的Application master中被yarn管理
    • 日志需要登录到集群节点查看，client初始完成就结束了
    • 适用于生产环境
    • yarn-cluster 不支持spark-shell ， 也不支持本地启动，只能通过spark-submit
    • 
    • 基础流程：
      • 客户端程序向ResourceManager提交申请
  • client模式：driver运行在客户端，application master只是用来从yarn申请资源
    • 适用于调试，能直接看到driver的日志，但是client断了，任务就结束了
    • 适用于交互与调试
    • 

• 日志查看方式：

• yarn logs -applicationId <app ID>
  

  • yarn.log-aggregation-enable 需要开启
  • 所有application的containers产生的日志都会被打印

• 也可以直接查看hdfs日志文件

  • 文件位置：yarn.nodemanager.remote-app-log-dir and yarn.nodemanager.remote-app-log-dir-suffix

• Spark Web UI 也可以查看

*	Spark history server 与 MapReduce history server 需要同时启动