Hive 企业级调优

最新推荐文章于 2024-09-27 00:45:01 发布

wespten

最新推荐文章于 2024-09-27 00:45:01 发布

阅读量37

点赞数

分类专栏： Hadoop Hive Spark 大数据安全文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/qq_35029061/article/details/135592365

版权

Hadoop Hive Spark 大数据安全专栏收录该内容

130 篇文章 39 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Hive的企业级调优方法，包括Fetch抓取、本地模式、表的优化、数据倾斜处理、并行执行、严格模式、JVM重用、推测执行和执行计划的分析。通过具体的案例和配置说明，展示了如何优化Hive性能，解决常见错误，如数据倾斜、内存溢出等问题，提升大数据处理效率。

摘要由CSDN通过智能技术生成

一、企业级调优

1、Fetch抓取

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。

在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。

<property>
    <name>hive.fetch.task.conversion</name>
    <value>more</value>
    <description>
      Expects one of [none, minimal, more].
      Some select queries can be converted to single FETCH task minimizing latency.
      Currently the query should be single sourced not having any subquery and should not have
      any aggregations or di