java spark yarn_[Java教程]spark on yarn 基于cdh5.7.2

[Java教程]spark on yarn 基于cdh5.7.2

0 2017-08-28 18:00:19

概述：在cdh上搭建spark on yarn

-- 要点：安装好两个服务后，在yarn 实例中添加对应的gateway即可

ps：改完后  记得重启集群

一、首先添加图中红箭头所指服务   --即spark  与 yarn

二、给yarn添加gateway  图中红箭头所指默认是没有的，也就是我们将要添加的

2.1  点击本页红箭头所指按钮

2.2  选中对应的host

2.3  点击继续完成

三、重启集群   点击restart即可

测试使用：在任意一个节点执行

spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar 10

--ps ： /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/spark/lib/spark-examples.jar  该路径为你自己安装的cdh相关路径

在spark  UI 端查看如下，即证明成功

本文网址：http://www.shaoqun.com/a/322099.html

*特别声明：以上内容来自于网络收集，著作权属原作者所有，如有侵权，请联系我们：admin@shaoqun.com。

H5

0