把提交spark独立应用时需要初始化spark,告知spark要运行的应用的名字,运行方式,jar包的主类等等
一、在自己的独立应用中使用spark的方法
在代码中初始化spark:
SparkConf conf = new SparkConf(); //新建SparkConf对象,通过设置键值对的方式配置spark的运行(具体见下方参数设置方法)
JavaSparkContext sc = new JavaSparkContext(conf); //用于联系spark集群,建立RDD,累加器,广播变量等
之后就可以利用SparkContext对象建立RDD,开始RDD编程啦
二、初始化参数的方式有两种:
(1)在程序中调用SparkConf对象的方法直接设置,如本地多线程运行wordcount程序,则可用
SparkConf conf = new SparkConf().setMaster("local[*]").setAppName("wordcount");
(2)在用spark-submit提交程序时直接设置也可以
spark-submit --master:local[*] --class:Word wordcount.jar