hive 的一些参数整理

最新推荐文章于 2022-04-23 20:51:33 发布

5xh

最新推荐文章于 2022-04-23 20:51:33 发布

阅读量335

点赞数

本文链接：https://blog.csdn.net/qq_37283909/article/details/111588897

版权

本文详细介绍了Hive中与MapReduce任务相关的参数，如mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize，以及如何划分split。此外，还讲解了Hive合并小文件的参数，如hive.merge.mapFiles和hive.merge.size.per.task，以优化性能。

摘要由CSDN通过智能技术生成

mapreduce 参数：

return Math.max(minSize, Math.min(maxSize, blockSize));

mapreduce.input.fileinputformat.split.minsize （default 0）
mapred.min.split.size
The minimum size chunk that map input should be split into. Note that some file formats may have minimum split sizes that take priority over this setting.

mapreduce.input.fileinputformat.split.maxsize
mapred.max.split.size(旧版)
启动map最大的split size大小
每个split的最大值，如果设置了mapreduce.input.fileinputformat.split.maxsize，则为该值，否则为Long的最大值。（如果不设置，合并小文件时，所有小文件会合并成一个文件）

mapreduce.input.fileinputformat.split.minsize.per.node
mapred.min.split.size.per.node(旧版)
mapreduce.input.fileinputformat.split.minsize.per.rack
mapred.min.split.size.per.rack（旧版）
划分split
划分的逻辑如下：

1）遍历输入目录中的每个文件，拿到该文件
2）