hive：使用map join解决大小表关联造成的数据倾斜

最新推荐文章于 2023-10-08 10:09:19 发布

白修修

最新推荐文章于 2023-10-08 10:09:19 发布

阅读量3.8k

点赞数 1

分类专栏：大数据问题处理文章标签： hive 数据库

本文链接：https://blog.csdn.net/weixin_41639302/article/details/107235828

版权

本文介绍了大数据处理中的数据倾斜问题及其原因，如小表key集中和无聚合函数的group by。重点讲解了如何利用Hive的Map Join特性，通过将小表放入内存，在Map阶段完成关联操作，避免数据倾斜，提高处理效率。同时，讨论了即使两张都是大表，通过切分小表仍可应用Map Join的方法。

摘要由CSDN通过智能技术生成

什么是数据倾斜

在大数据处理过程中，不怕数据大，就怕数据倾斜。
数据倾斜就是在mapreduce过程中，一个或几个reduce端处理的数据量过大，明显远大于平均值，导致少数的reduce端的任务长时间无法完成，而其他reduce端又无事可做，明显的效率低下。

数据倾斜的一些原因

1、关联查询时，有一个较小的表的key比较集中
key的分布不均就导致在分区时，某一个或几个分区的数量过多
2、使用group by但没有用聚合函数，导致维度过小，某值的数量过多

  那么我们需要在使用group by时注意一定要同时使用聚合函数，避免数据倾斜。

使用map join解决大小表关联造成的数据倾斜

map join 概念：将其中做连接的小表（全量数据）分发到所有 MapTask 端进行 Join，从而避免了 reduceTask，前提要求是内存足以装下该全量数据。

map join通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数 hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。一般默认就够了，无须修改。
在这里插入图片描述
使用map join解决小表关联大表造成的

最低0.47元/天解锁文章