hive join 优化 --小表join大表

1、小、大表 join

在小表和大表进行join时,将小表放在前边,效率会高,hive会将小表进行缓存。

2、mapjoin

使用mapjoin将小表放入内存,在map端和大表逐一匹配,从而省去reduce。

例子:

select /*+MAPJOIN(b)*/ a.a1,a.a2,b.b2 from tablea a JOIN tableb b ON a.a1=b.b1

在0.7版本后,也可以用配置来自动优化

set hive.auto.convert.join=true;


  • 6
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive是一个基于Hadoop的数据仓库工具,它提供了一个SQL-like的查询语言HiveQL,用于处理和管理大规模分布式数据。当你有一个小表(通常是较小的、查询速度快的表)需要与一个大的表(可能是经过复杂处理或存储在Hadoop分布式文件系统上的大数据集)进行关联时,使用Hive进行JOIN操作会有以下几个特点: 1. **效率考虑**:对于小表-大表JOINHive通常会利用小表的索引,先执行小表的扫描,然后根据连接条件查找大表中的匹配行,这样可以减少全表扫描大表的开销。 2. **分片处理**:大表可能被划分为多个物理分区(分区)或分片(如在Hadoop MapReduce中),Hive会在这些分区上进行并行JOIN操作,提高处理速度。 3. **资源优化**:由于Hive运行在Hadoop生态系统中,JOIN操作可能会涉及到MapReduce任务,Hive会根据集群资源动态调整任务分配,以充分利用集群的能力。 4. **延迟加载**:对于大表中的部分数据,Hive支持延迟加载,即只加载真正需要的部分,这可以进一步提高性能。 5. **性能调优**:可以通过调整JOIN策略(如设置JOIN类型为INNER JOIN, LEFT JOIN等)、创建合适的索引,甚至对大表进行预处理(如分区、缓存等),来优化JOIN操作的性能。 然而,JOIN操作在大数据处理中仍然可能存在性能瓶颈,特别是当JOIN列在大表中不是主键或唯一标识时。在这种情况下,你可能需要考虑其他技术,如使用Caching层(如HBase)或使用更高效的NoSQL数据库来存储小表
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值