Hive 常用设置配置

最新推荐文章于 2024-05-23 13:36:09 发布

☞空白页

最新推荐文章于 2024-05-23 13:36:09 发布

阅读量383

点赞数

分类专栏： Hive

本文链接：https://blog.csdn.net/weixin_44441757/article/details/119446919

版权

Hive 专栏收录该内容

32 篇文章 6 订阅

订阅专栏

本文详细介绍了Hive作业的配置参数，包括队列设置、作业名称、动态分区、最大动态分区数等，旨在提升作业性能和效率。还探讨了倾斜连接优化、文件合并策略及自动MapJoin等相关配置，对于大数据处理和分析具有指导意义。

摘要由CSDN通过智能技术生成

set mapreduce.job.queuename=product01;
set mapred.job.name=dw.dw_bloodsugar_full${dt};
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions=1000;
set hive.exec.max.dynamic.partitions.pernode=100;
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.auto.convert.join = true; 是否开启自动mapjoin，默认是true
set hive.mapjoin.smalltable.filesize=100000000; mapjoin的表size大小
set hive.optimize.skewjoin=true; 启用倾斜连接优化
set hive.skewjoin.key=200000; 超过20万行就认为该键是偏斜连接键
set hive.merge.size.per.task=100000000;
set hive.merge.smallfiles.avgsize=64000000;
set mapred.reduce.tasks = ${reducecnt};

附：Hive 配置属性官方链接：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties