初始化spark

初始化SparkContext

一.初始化spark
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.SparkConf;

1.利用javasparkcontext初始化
 SparkConf conf=new SparkConf().setMaster("local”).setAppName("MyApp");
//集群url:本例是运行在本地单机local；应用名，可以在集群管理器用户界面中找到你的应用
 JavaSparkContext sc=new JavaSparkContext(conf);

2.利用sparksesssion初始化
 SparkConf conf=new SparkConf()
                .setMaster("local");
 SparkSession session = SparkSession
                .builder()
                .appName("MyApp")
                .config(conf)
                .getOrCreate();

关闭spark可以用SparkContext的stop()方法，或直接退出应用，如System.exit(0)或sys.exit()

 

 

 

参考《spark快速大数据分析》

转载于:https://www.cnblogs.com/little-horse/p/6166411.html