spark-Example-PI
1.找到class(一般在spark的安装包里)
find / -name spark
找到jar 包
2.编写sh执行脚本
脚本内submit的命令格式要求严格,
-换行需使用 “斜杠”, 斜杠后无空格
- jars 这一项为,手动添加的外部jars 包, 需只占用一行,多个jar包用逗号隔开
vim submit.sh (注意权限,需要是x, 可执行文件)
#!/bin/bash
CDH_BIN='/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin'
LIB_PATH='/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib'
$CDH_BIN/spark-submit \
--master yarn \
--class org.apache.spark.examples.SparkPi \
/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.2.1.jar
3.执行
./submit.sh