Spark-Submit脚本执行

如果使用的spark://，那么代表就是standalone模式，那么就需要sbin/start-all.sh启动一下spark集群进行资源调度。
/usr/spark/sbin/start-all.sh ---启动spark集群所有节点
而 /usr/spark/sbin/start-master.sh 则是在驱动器节点进行启动主节点(master),/usr/spark/sbin/start-slave.sh,在每个执行器节点启动工作(worker)节点





一   指定配置文件目录

 
spark-submit   \
--class  mainclass(全路径的程序主类)     \
--master spark://hadoop:7077      \
--executor-memory 2G      \
--total-executor-cores 2  \
Litchi-1.0-SNAPSHOT.jar    /home/hadoop/properties/hdfs.properties


测试:
1.删除对应日期目录(可能已存在,预防------代码需要处理-----未完成)
hdfs dfs -rm -r  /litchi/weekreport

 

二  指定Spark   ClassPath

spark-submit       --class      mainclass(全路径的程序主类)  \   
--master spark://hadoop:7077        \  
--executor-memory        2G         \   
--driver-class-path      hdfs://hadoop:9000/jar/spark/      \         (官方建议使用driver-class-path指定spark  classPath:本地或hdfs目录)
--total-executor-cores 2  Litchi-1.0-SNAPSHOT.jar  \
 properties/hdfs.properties