sparkConf常见参数设置

def getSparkConf():SparkConf = {

    val sparkConf: SparkConf = new SparkConf()
      .set("spark.driver.cores","4")  //设置driver的CPU核数
      .set("spark.driver.maxResultSize","2g") //设置driver端结果存放的最大容量，这里设置成为2G，超过2G的数据,job就直接放弃，不运行了
      .set("spark.driver.memory","4g")  //driver给的内存大小
      .set("spark.executor.memory","8g")// 每个executor的内存
      .set("spark.submit.deployMode","cluster")  //spark 任务提交模式，线上使用cluster模式，开发使用client模式
      .set("spark.worker.timeout" ,"500") //基于standAlone模式下提交任务，worker的连接超时时间
      .set("spark.cores.max" , "10")  //基于standAlone和mesos模式下部署，最大的CPU和数量
      .set("spark.rpc.askTimeout" , "600s")  //spark任务通过rpc拉取数据的超时时间
      .set("spark.locality.wait" , "5s") //每个task获取本地数据的等待时间，默认3s钟，如果没获取到，依次获取本进程，本机，本机架数据