eclipse java spark作业提交

关于spark的作业提交，网上说了很多，但大多数都是以命令方式提交。然而在实际开发项目中，某些作业需要定时处理。经过了无数次尝试，下面是本人用eclipse和java语言来说明一个在实际开发中很有用的spark作业提交方式：

1.首先是执行sparksubmit作业提交命令，主要代码如下：

String[] params=new String[]{
"--master", "spark://localhost:7077",
"--name","KeyWords submit",
"--deploy-mode","cluster",
"--conf","spark.blockManager.port=35001",
"--class", "edu.zut.cs.spark.cnn.JavaKeyWords",
"--executor-memory","4G",
"--driver-cores", "3",
"hdfs://master:9000/jars/sparkForClassify.jar",//往下看第2步打的jar包
contentPath,//要传的第一个参数
keyWordsPath//要传的第二个参数
};
SparkSubmit.main(params);

2.然后是要执行的作业（此部分完成后打成jar包sparkForClassify.jar放到Hdfs上，由第一步调用执行）

主要代码如下：

public class JavaKeyWords {
private static org.slf4j.Logger log = LoggerFactory.getLogger(JavaKeyWords.class);

public static void main(String[] args) {

SparkConf sparkConf=new SparkConf().setAppName("ExtractKeyWords")
.setMaster("spark://localhost:7077")
.set("spark.cores.max", String.valueOf(6))
.set("spark.blockManager.port","35001")
.set("spark.driver.port", "35010")
.set("spark.executor.memory", "20G");

@SuppressWarnings("resource")
JavaSparkContext sc=new JavaSparkContext(sparkConf);
JavaRDD<String> lines=sc.textFile(args[0]);//args[0]取文章内容,获得提交作业的参数是1步骤中contentPath

*****************此部分是要计算的内容******************
// keyWordsRDD.saveAsTextFile(args[1]);//args[1]是获得作业提交过来的参数，是1步骤中keyWordsPath
List<String> keyWordsList=keyWordsRDD.collect();
HdfsUtil hdu=new HdfsUtil();
hdu.writeFile(args[1], keyWordsList);
log.info("关键词保存到Hdfs上成功...文章篇数是"+keyWordsList.size());
sc.stop();
}
}