hive------几种hive优化方法

本文介绍了Hive的多种优化方法,包括通过explain extended查看执行计划以优化stage执行,设置limit优化,确保小表驱动大表的join策略,启用本地模式,调整并行执行参数,合理使用JVM资源,以及解决数据倾斜问题。通过对这些方面进行优化,可以显著提升Hive查询的效率。
摘要由CSDN通过智能技术生成

hive的优化

1.通过explain或者explain extended来查看执行计划。
explain
select * 
from u3;

//执行结果
------------------------------------------
STAGE DEPENDENCIES:
  Stage-0 is a root stage

STAGE PLANS:
  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        TableScan
          alias: u3
          Statistics: Num rows: 1 Data size: 43 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: id (type: bigint), name (type: string), sex (type: tinyint)
            outputColumnNames: _col0, _col1, _col2
            Statistics: Num rows: 1 Data size: 43 Basic stats: COMPLETE Column stats: NONE
            ListSink
Time taken: 0.457 seconds, Fetched: 17 row(s)

加上extended

explain extended
select * 
from u3;
---------------------------
 
ABSTRACT SYNTAX TREE:
  
TOK_QUERY
   TOK_FROM
      TOK_TABREF
         TOK_T
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值