HIVE调优

xiu9543

已于 2023-06-09 10:46:11 修改

阅读量160

点赞数

文章标签： hive hadoop 大数据数据仓库 mapreduce

于 2023-03-02 19:53:07 首次发布

本文链接：https://blog.csdn.net/xiu9543/article/details/129307503

版权

文章讲述了在Hive中进行配置优化的步骤，包括设置fetchtaskconversion,autoconvertjoin,skewjoin优化，bucketmapjoin以及并行执行等，以提升查询性能。但最后执行时遇到了RuntimeException:HiveRuntimeErrorwhileclosingoperators的问题。

摘要由CSDN通过智能技术生成

开启本地抓取：

set hive.fetch.task.conversion=more;

set hive.auto.convert.join=true;
set hive.optimize.skewjoin=true;
set hive.groupby.skewindata=true;
set hive.map.aggr=true;

set hive.fetch.task.conversion=more; 
set hive.auto.convert.join=true;
set hive.optimize.skewjoin=true;
set hive.groupby.skewindata=true;
set hive.map.aggr=true;

'set hive.tez.container.size = 8192';--设置 container 内存大小
'set hive.tez.cpu.vcores = 2'; --设置分配tez CUP内核个数
'set hive.optimize.bucketmapjoin = true'; --开启大表关联优化
'set hive.optimize.bucketmapjoin.sortedmerge = true';--开启大表关联优化
'set hive.exec.parallel=true';
'set hive.exec.parallel.thread.number=16';
'set hive.auto.convert.join=true'; --开启大小表关联优化
'set mapreduce.input.fileinputformat.split.maxsize=33554432';
'set hive.exec.reducers.bytes.per.reducer=67108864';

执行报错：Caused by: java.lang.RuntimeException: Hive Runtime Error while closing operators: null