Hive(19):hive fetch task功能和配置

最新推荐文章于 2020-07-10 21:12:05 发布

RayBreslin

最新推荐文章于 2020-07-10 21:12:05 发布

阅读量427

点赞数

分类专栏：大数据开发 hive 文章标签： fetch task

本文链接：https://blog.csdn.net/u010886217/article/details/83926388

版权

大数据开发同时被 2 个专栏收录

204 篇文章 9 订阅

订阅专栏

hive

51 篇文章 3 订阅

订阅专栏

本文介绍如何通过配置hive-site.xml中的hive.fetch.task.conversion参数来优化Hive SQL执行，减少不必要的MapReduce任务，提高查询效率。设置为'more'可以支持更多类型的查询转换为FETCH任务，如SELECT、FILTER和LIMIT操作。

摘要由CSDN通过智能技术生成

1.目的

有的hivesql语句跑mapreduce有的不跑mapreduce，这个设置的目的就是为了，尽量避免跑。

2.配置hive-site.xml

  <property>
    <name>hive.fetch.task.conversion</name>
    <value>more</value>
    <description>
      Expects one of [none, minimal, more].
      Some select queries can be converted to single FETCH task minimizing latency.
      Currently the query should be single sourced not having any subquery and should not have
      any aggregations or distincts (which incurs RS), lateral views and joins.
      0. none : disable hive.fetch.task.conversion
      1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
      2. more    : SELECT, FILTER, LIMIT only (support TABLESAMPLE and virtual columns)
    </description>
  </property>

备注：设置成none，就全部都跑mapreduce