SparkContext是老版本的玩法,新版本都是用SparkSession
创建sparkContext,JavaSparkContext
SparkConf sparkConf = new SparkConf()
.setAppName("spark-sdfgsgsdgsdgsdgsdg")
.setMaster("local");
SparkContext sparkContext = SparkContext.getOrCreate(sparkConf);
sparkContext.setLogLevel("ERROR");
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkContext);
创建SparkSession
//创建SparkSession方式1
SparkSession sparkSession = SparkSession
.builder()
.sparkContext(sparkContext)
.getOrCreate();
//创建SparkSession方式2
SparkSession sparkSession = SparkSession.builder().master("local")
.appName("Java Spark SQL")
.getOrCreate();