搭建Spark On YARN集群

一、搭建Spark On YARN集群

搭建Spark Standalone集群

（二）修改Spark环境配置文件

 

存盘退出后，执行命令：source spark-env.sh，让配置生效

三、提交Spark应用到集群运行

（一）启动HDFS和YARN

执行命令：start-dfs.sh

执行命令：start-yarn.sh

（二）运行Spark应用程序

• 查看Spark应用程序$SPARK_HOME/examples/jars/spark-examples_2.11-2.1.1.jar

• 

• 进入Spark安装目录，执行命令

• bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  ./examples/jars/spark-examples_2.11-2.1.1.jar
  

   

   浏览器中通过http://master:8088来访问YARN的WebUI

• 

   查看结果

• 

• 单击Logs超链接

   

   单击stdout : Total file length is 33 bytes.超链接，即可查看到Spark应用的运行结果

• 当中遇到的很多问题进行反复尝试，不要放弃

•