Hive表插入数据前的优化，分区优化、分桶优化、数据倾斜优化、并行优化等等...

奇迹虎虎

已于 2022-02-21 17:27:13 修改

阅读量491

点赞数 1

分类专栏： # Hive 文章标签： hive hadoop 数据仓库 big data 大数据

于 2022-02-17 14:32:44 首次发布

本文链接：https://blog.csdn.net/qq_17685725/article/details/122982635

版权

本文详细介绍了Hive数据仓库的优化技巧，包括分区优化提升查询效率，通过压缩优化减少存储空间，启用写入时压缩，实现并行执行以加速任务，解决小文件问题，利用矢量化查询加快处理速度，以及针对join和group操作的数据倾斜优化策略。

摘要由CSDN通过智能技术生成

复制所有优化命令

--分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=10000;
set hive.exec.max.dynamic.partitions=100000;
set hive.exec.max.created.files=150000;
--hive压缩
set hive.exec.compress.intermediate=true;
set hive.exec.compress.output=true;
--写入时压缩生效
set hive.exec.orc.compression.strategy=COMPRESSION;
--分桶
set hive.enforce.bucketing=true;
set hive.enforce.sorting=true;
set hive.optimize.bucketmapjoin = true;
set hive.auto.convert.sortmerge.join=true;
set hive.auto.convert.sortmerge.join.noconditionaltask=true;
--并行执行
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8;
--小文件合并
-- set mapred.max.split.size=2147483648;
-- set mapred.min.split.size.per.node=1000000000;
-- set mapred.min.split.size.per.rack=1000000000;
--矢量化查询
set hive.vectorized.execution.enabled=true