记录一次spark配置

//序列化
sparksession.conf.set(“spark.serializer”, “org.apache.spark.serializer.KryoSerializer”)
//保证数据不丢失
sparksession.conf.set(“spark.streaming.stopGracefullyOnShutdown”, “true”)
//开启被压
// sparksession.conf.set(“spark.streaming.backpressure.enabled”, “true”)
// 启用反压机制时每个接收器接收第一批数据的初始最大速率
//sparksession.conf.set(“spark.streaming.backpressure.initialRate”, “5000”)
//spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数。
//假设此项设为1，批次间隔为10s，目标topic只有一个partition，则一次拉取的数据量为1101=10。
//sparksession.conf.set(“spark.streaming.kafka.maxRatePerPartition”, “1000”)

// SparkContext默认只有一个实例。如果在config（SparkConf）中设置了allowMultipleContexts为true，
//当存在多个active级别的SparkContext实例时Spark会发生警告，而不是抛出异常，要特别注意。
// 如果没有配置，则默认为false
sparksession.conf.set("spark.driver.allowMultipleContexts", "true")
//这里spark设置的默认poll的timeout是512毫秒，如果512毫秒后没拉到数据就会抛异常
sparksession.conf.set("spark.streaming.kafka.consumer.poll.ms", "1000")
//增加job并行度的参数
sparksession.conf.set("spark.streaming.concurrentJobs", "10")
//获取topic分区leaders(kafka中leade有时会发生变换)及其最新offsets时，调大重试次数
sparksession.conf.set("spark.streaming.kafka.maxRetries", "5")
//超时时间
sparksession.conf.set("spark.network.timeout", "300s")
//rpc超时时间
sparksession.conf.set("spark.rpc.askTimeout", "600s")