hive参数

2019独角兽企业重金招聘Python工程师标准>>>

MAPREDUCE:

mapred.job.queue.name 队列名称

内存相关：

mapreduce.reduce.memory.mb 每个Reduce Task需要的内存量(默认1024)

mapreduce.map.memory.mb 每个Map Task需要的内存量(默认1024)

JVM：

mapred.child.java.opts 同时设置map和reduce的jvm参数

mapred.map.child.java.opts 分开设置map的jvm参数，包括GC策略

mapred.reduce.child.java.opts 分开设置reduce的jvm参数

mapreduce.map.java.opts 分开设置map的jvm参数，包括GC策略

mapreduce.reduce.java.opts 分开设置reduce的jvm参数

压缩：

mapred.output.compress 最后一个map/reduce的输出是否压缩

mapred.output.compression.codec 输出数据的压缩方式

mapred.output.compression.type 压缩类型

HIVE:

压缩

hive.exec.compress.output 查询中最后一个map/reduce的输出是否压缩

hive.exec.compress.intermediate 查询的中间map/reduce的输出是否压缩

hive.auto.convert.join 如果表足够小（默认小于25M）则载入内存在map阶段执行join，即MapJoin

hive.ignore.mapjoin.hint 忽略MAPJOIN写法，而是自动检查是否转换

动态分区：

hive.exec.dynamic.partition 查询结果是否动态分区

hive.exec.dynamic.partition.mode strict该模式下必须指定一个静态分区，nostrict该模式下不必指定静态分区，没有限制

hive.exec.max.dynamic.partitions.pernode 在每一个mapper/reducer节点允许创建的最大分区数

hive.exec.max.dynamic.partitions 允许创建的最大分区数

转载于:https://my.oschina.net/nalenwind/blog/662984