知识点
1.SparkConf必须指定Master和AppName,否则会抛出异常。
2.SparkContext是程序执行入口,一个SparkContext代表一个Application。
3.初始化方式:
SparkConf conf = new SparkConf().setAppName(appName).setMaster(master)
JavaSparkContext sc=new JavaSparkContext(conf)
编程要求
使程序正确运行,输出[hello],
Master
需指定为local
模式,指定 AppName
为educoder
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.SparkConf;
import java.util.Arrays;
import java.util.List;
public class Edu {
public static void main(String[] args) {
/********** Begin **********/
//第一步:设置SparkConf
SparkConf conf=new SparkConf().setAppName("educoder").setMaster("local");
//第二步:初始化SparkContext
JavaSparkContext sc=new JavaSparkContext(conf);
/********** End **********/
List<String> data = Arrays.asList("hello");
JavaRDD<String> r1 = sc.parallelize(data);
System.out.print(r1.collect());
/********** Begin **********/
//第三步:关闭SparkContext
sc.stop();
/********** End **********/
}
}