spark编程06——关于本地运行spark程序和打包到集群中运行的区别

最新推荐文章于 2022-12-28 10:37:46 发布

SY_Pistachio

最新推荐文章于 2022-12-28 10:37:46 发布

阅读量518

点赞数

分类专栏： BigData学习文章标签： spark 本地运行和打包集群运行的区别 intellij-idea IDEA

本文链接：https://blog.csdn.net/ssyitwin/article/details/123584358

版权

BigData学习专栏收录该内容

24 篇文章 0 订阅

订阅专栏

如果本地运行就用：

val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift")

如果打包到集群中运行就是：

val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift")

（如何在IDEA中打包见：spark编程01——IDEA创建项目打包到集群中运行）

import java.text.SimpleDateFormat
import java.util.Date
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.udf
import org.apache.spark.{SparkConf, SparkContext}
object timeShift01 {
  def main(args: Array[String]): Unit = {
    
    //val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift")
    val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift")
    val sc=new SparkContext(sparkConf)
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()
    sc.stop()

  }
}