spark on yarn 基于cdh5.7.2

概述：在cdh上搭建spark on yarn  

　　-- 要点：安装好两个服务后，在yarn 实例中添加对应的gateway即可     

　　ps：改完后  记得重启集群

 

 

一、首先添加图中红箭头所指服务   --即spark  与 yarn

二、给yarn添加gateway  图中红箭头所指默认是没有的，也就是我们将要添加的

2.1  点击本页红箭头所指按钮

 

2.2  选中对应的host  

2.3  点击继续完成

三、重启集群   点击restart即可

 

  测试使用：在任意一个节点执行

   spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar 10             

　--ps ： /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar  该路径为你自己安装的cdh相关路径   

   在spark  UI 端查看如下，即证明成功

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

 

转载于:https://www.cnblogs.com/fastzhe/p/7444439.html