今天我们来学习一下Spark中的SparkSession
SparkSession是SparkContext对象的一个封装,可以通过SparkSession访问到SparkContext。
1.SparkSession的创建
SparkSession spark = SparkSession.builder()
.appName()//设置应用名称
.master() //可以选择"local","yarn"等模式,分别代表本地和集群模式
.getOrCreate() //如果已经存在SparkContent对象则直接获取
2.代码示例
SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example")
.master("yarn")#设置为集群模式
.config("spark.memory.offHeap.enabled",true)
.config("spark.memory.offHeap.size","16g")#设置spark内存大小为16G
.config("spark.some.config.option", "some-value")
.enableHiveSupport() #支持hive模式
.getOrCreate();
``