Hive学习之连接查询优化(一)

33 篇文章 17 订阅 ¥9.90 ¥99.00
32 篇文章 31 订阅 ¥9.90 ¥99.00

      Hive为连接查询提供了一系列的优化方法,包括优化Hive的查询执行计划以改进连接查询的效率和减少用户提示的使用等。Hive可以自动识别很多用例并自动优化它们,Hive在0.11版本中对下面的情况改进了优化器:

  •  连接查询的一端放进内存中,在新的优化器中:
    • 放进内存的一端在内存中以哈希表存在
    • 只有比较大的表需要扫描
    • 事实表在内存中有较小的足迹
  • 星型模式连接
  • 在许多用例中不再需要用户提示
  • 优化器自动优化map连接

星型连接优化

      星型模式是用于决策支持系统或者数据仓库的一个简单模式,在该模式中事件存在于大的事实表中,较小的支持表(维度表)用于描述数据。TPC DS(TPC Benchmark™DS (TPC-DS): 新的决策支持标准)是该模式的一个例子。它是典型的零售数据仓库模型,其中事件是销售,典型的维度是销售的日期,销售的时间,或者采购方的人口统计,典型的查询聚集并过滤事实表根据维度表中的属性。下面是星型模式的一个列子:

Select count(*) cnt
From store_sales ss
     join household_demographics hd on (ss.ss_hdemo_sk = hd.hd_demo_sk)
     join time_dim t on (ss.ss_sold_time_sk = t.t_time_sk)
     join store s on (s.s_store_sk = ss.ss_store_sk)
Where
     t.t_hour = 8
     t.t_minute >= 30
 
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值