hive on spark参数配置

hive on Spark参数：

set spark.master=yarn-cluster;                    #设置spark提交模式

set hive.execution.engine=spark;                #设置计算引擎

set spark.yarn.queue=queue_name;           #设置作业提交队列

set spark.app.name=job_name;                  #设置作业名称

set spark.executor.instances=20;                #设置执行器个数

set spark.executor.cores=4;                        #设置执行器计算核个数

set spark.executor.memory=8g;                  #设置执行器内存

set mapred.reduce.tasks=600;                    #设置任务并行度

set spark.yarn.executor.memoryOverhead=2048;    #设置每个executor的jvm堆外内存

set spark.memory.fraction=0.8;                  #设置内存比例(spark2.0+)

set spark.serializer=org.apache.serializer.KyroSerializer;  #设置对象序列化方式

#设置动态分区

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

set hive.exec.dynamic.partitions.pernode=10000;

set hive.exec.dynamic.partitions=10000;