Hive On Spark 调优

最新推荐文章于 2024-08-28 17:47:40 发布

Michael312917

最新推荐文章于 2024-08-28 17:47:40 发布

阅读量1.1k

点赞数

分类专栏： Hive on Spark 文章标签：大数据 hive spark

本文链接：https://blog.csdn.net/Michael312917/article/details/109913556

版权

本文主要探讨了Hive在Spark上的调优策略，包括Hive的整体调优以及Spark的cores和memory调整。在Spark on YARN模式下，推荐合理分配executor的CPU核数，避免浪费，并提供了内存分配的计算公式。此外，文章还讨论了动态和静态资源分配的区别，并给出了一种基于节点配置的executor数量和内存分配的示例。

摘要由CSDN通过智能技术生成

1 Hive整体调优

官方建议HiveOnSpark中调优

spark on yarn

mapreduce.input.fileinputformat.split.maxsize=750000000
hive.vectorized.execution.enabled=true

hive.cbo.enable=true
hive.optimize.reducededuplication.min.reducer=4
hive.optimize.reducededuplication=true
hive.orc.splits.include.file.footer=false
hive.merge.mapfiles=true
hive.merge.sparkfiles=false
hive.merge.smallfiles.avgsize=16000000
hive.merge.size.per.task=256000000
hive.merge.orcfile.stripe.level=true
hive.auto.convert.join=true
hive.auto.convert.join.noconditionaltask=true
hive.auto.convert.join.noconditionaltask.size=894435328
hive.optimize.bucketm