提交Spark程序到集群与提交MapReduce程序到集群一样,首先要将写好的Spark程序打成jar包,再在Spark-submit下通过命令提交。
Step1:打包程序
通说Intellij IDEA进行打包步骤:
Step2:提交任务
./spark-submit --class DT --master spark:master:7077 --executor-memory 2g --num-executors 5 /home/hadoop/IdeaProjects/SparkProject/SaprkDT/out/artifacts/DecisionTree.jar