Tez优化参数设置

pigcoffee

已于 2023-11-22 21:10:35 修改

阅读量2.6w

点赞数 18

分类专栏： tez hadoop 文章标签： hive hadoop

于 2017-09-25 22:10:40 首次发布

本文链接：https://blog.csdn.net/hqwang4/article/details/78090087

版权

本文详细介绍了Tez在Hadoop环境中的内存优化，包括AM和Container的内存及JVM参数设置，如tez.am.resource.memory.mb和hive.tez.container.size等。此外，还涉及了Hive的Map Join参数，如tez.runtime.io.sort.mb和hive.auto.convert.join.noconditionaltask.size。同时讨论了Mapper/Reducer的优化策略，包括Mapper数、Reducer数的设置以及Shuffle阶段的相关参数。提供了一套完整的Tez性能调优方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Tez内存优化

1、AM、Container大小设置

tez.am.resource.memory.mb

参数说明：Set tez.am.resource.memory.mb tobe the same as yarn.scheduler.minimum-allocation-mb the YARNminimum container size.

hive.tez.container.size

参数说明：Set hive.tez.container.size to be the same as or a small multiple(1 or 2 times that) of YARN container size yarn.scheduler.minimum-allocation-mb but NEVER more than yarn.scheduler.maximum-allocation-mb.

2、AM、Container JVM参数设置

tez.am.launch.cmd-opts

默认值：80%*tez.am.resource.memory.mb

参数说明：一般不需要调整

hive.tez.java.ops

默认值：80%*hive.tez.container.size

参数说明：Hortonworks建议“–server –Djava.net.preferIPv4Stack=true–XX:NewRatio=8 –XX:+UseNUMA –XX:UseG1G”

tez.container.max.java.heap.fraction

默认值：0.8

参数说明：task\AM占用JVM Xmx的比例，该参数建议调整，需根据具体业务情况修改；

3、Hive内存Map Join参数设置