Hive常见set的配置设置

Hive常见set的配置设置

设置reduce数量(默认值-1)

set mapred.reduce.tasks=100;

set mapreduce.job.reduces=3;

修改表为内部表

set tblproperties('EXTERNAL'='FALSE');

开启分桶表(默认false)

set hive.enforce.bucketing=true;

开启Hive中间传输数据压缩功能

set hive.exec.cmpress.intermediate=true;

开启mapreduce 中map 输出压缩功能

set mapreduce.map.output.compress=true;

设置mapreduce 中map 输出数据的压缩方式

set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

开启hive 最终输出数据压缩功能

set hive.exec.compress.output=true;

开启mapreduce 最终输出数据压缩

set mapreduce.output.fileoutputformat.compress=true;

设置mapreduce 最终数据输出压缩方式

set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

设置mapreduce 最终数据输出压缩为块压缩

set mapreduce.output.fileoutputformat.compress.type=BLOCK;

设置Fetch抓取为more(默认为more)

set hive.fetch.task.conversion=more;

开启本地模式(默认关闭)

set hive.exec.mode.local.auto=true;

设置local mr 的最大输入数据量,当输入数据量小于这个值时采用local mr 的
方式,默认为134217728,即128M
set hive.exec.mode.local.auto.inputbytes.max=50000000;
设置local mr 的最大输入文件个数,当输入文件个数小于这个值时采用local mr
的方式,默认为4
set hive.exec.mode.local.auto.input.files.max=10;

打开mapjoin 功能(默认是打开的)

set hive.auto.convert.join = true;

开启Map 端聚合参数设置

set hive.map.aggr = true;

在Map 端进行聚合操作的条目数目

set hive.groupby.mapaggr.checkinterval = 100000;

有数据倾斜的时候进行负载均衡(默认是false)

set hive.groupby.skewindata = true;

开启动态分区功能(默认开启)

set hive.exec.dynamic.partition=true;

设置为非严格模式(默认严格strict)

set hive.exec.dynamic.partition.mode=nonstrict;

在所有执行MR 的节点上,最大一共可以创建多少个动态分区。(1000)

set hive.exec.max.dynamic.partitions=1000;

在每个执行MR 的节点上,最大可以创建多少个动态分区(100)

set hive.exec.max.dynamic.partitions.pernode=100;

整个MR Job 中,最大可以创建多少个HDFS 文件。(100000)

set hive.exec.max.created.files=100000;

开启小文件合并(HiveInputFormat )

set hive.input.formatorg.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

每个Reduce 处理的数据量默认是256MB256000000)

set mapreduce.input.fileinputformat.split.maxsize=256000000;

每个任务最大的reduce 数,默认为1009

set hive.exec.reducers.max=1009;

开启并行执行(默认关闭)

set hive.exec.parallel=true;

同一个sql 允许最大并行度,默认为8。

set hive.exec.parallel.thread.number=16;

©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页