- 博客(1)
- 收藏
- 关注
原创 Hive sql 常见数据倾斜(类型不匹配、复杂join条件)的分析解决
本篇以hive sql解析器来讨论问题,spark sql 的处理方法类似,大家可自行测试。本篇不分析各种会造成数据倾斜的原因,数据倾斜形成的原因也只是简单提及。本篇主要分析在sql中进行join操作时,会造成数据倾斜的常见两大原因,以及解决方法。我认为这两种情况,在工作中出现的几率较高,所以单独拿出来讨论。数据倾斜造成的原因(懂的可以跳过不看):这个问题简单来说,就是分布式处理中,每个节点处理的数据量差距较大,而导致单节点负担过重,处理时间过长,而拖慢整个作业的执行时间。在hive中,常见的处理引擎
2020-12-06 20:37:18 3141 5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人