本文介绍了 Hive 中一些关键参数的调优，如 `hive.map.aggr` 用于Map端聚合，`hive.groupby.skewindata` 解决数据倾斜问题，`mapred.reduce.tasks` 设置Reducer数量，以及 `hive.merge.mapfiles` 和 `hive.merge.mapredfiles` 用于合并小文件，提高执行效率。同时，还探讨了 `hive.exec.parallel` 开启并行执行和 `hive.limit.optimize.enable` 限制结果返回等优化策略。
hive.map.aggr
决定是否可以在 Map 端进行聚合操作
hive.groupby.skewindata
开启数据倾斜时的负载均衡
mapred.reduce.tasks
设置所提交 Job 的 reduer 的个数
hive.mapjoin.cache.numrows
Hive Map Join 所缓存的行数。
hive.exec.mode.local.auto
决定 Hive 是否应该自动地根据输入文件大小，在本地运行
hive.merge.smallfiles.avgsize
需要合并的小文件群的平均大小，默认 16 M。
hive.auto.convert.join
是否根据输入小表的大小，自动将 Reduce 端的 Common Join 转化为 Map Join，从而加快大表关联小表的 Join 速度。
hive.merge.mapfiles
在Map任务结束时合并小文件
是否开启合并 Map 端小文件，当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，会使得map任务启动和初始化的时间大于逻辑处理的时间，造成资源浪费。为此，当我们启动
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
