jianzhong071的博客

原创 Hive sql 常见数据倾斜(类型不匹配、复杂join条件)的分析解决

本篇以hive sql解析器来讨论问题，spark sql 的处理方法类似，大家可自行测试。 本篇不分析各种会造成数据倾斜的原因，数据倾斜形成的原因也只是简单提及。本篇主要分析在sql中进行join操作时，会造成数据倾斜的常见两大原因，以及解决方法。我认为这两种情况，在工作中出现的几率较高，所以单独拿出来讨论。 数据倾斜造成的原因（懂的可以跳过不看）： 这个问题简单来说，就是分布式处理中，每个节点处理的数据量差距较大，而导致单节点负担过重，处理时间过长，而拖慢整个作业的执行时间。在hive中，常见的处理引擎