前言:数据倾斜大多数是由于数据本身的分布不均匀。故而需要我们使用诸如列裁剪、Mapjoin、GroupBy等方法进行处理。
数据倾斜表现:
1、任务日志进度长度为99%,在日志监控进度条显示只有几个reduce进度一直没有完成。
2、某一reduce处理时长>平均处理时长
3、job数过多
数据倾斜原因分析:
1、key分布不均
2、业务数据本身存在不均匀情况
3、关联字段重复数据较多
解决方法:
1、join定位:第一:主表驱动表应该选择分布均匀的表作为驱动表,并做好列裁剪。
第二:大小表Join,需要记得使用map join,小表会先进入内存,在map端即会完成reduce.
第三:此种情形最为常用!!!大表join大表时,关联字段存在大量空值null key
解决方法为把空值null key变成字符串加上随机数!!!可以0把由于数据倾斜而导致的数据集中到一个reduce上处理的情形,打散到不同的reduce上,9生成多个reduce!!!
on case when haha.id is null then concat('hive',rand()) else
haha.id end = xixi.id
2、不同数据类型关联也会产生数据倾斜滴!
嘿嘿嘿:例如注册表中ID字段为int类型,登录表中ID字段即有string类型,也有int类型。当按照ID字段进行两表之间的join操作时,默认的Hash操作会按int类型的ID来进行分配,这样会导致所有string类型ID的记录统统统统统统都都都都分配到一个Reduce里面去!!!
解决方法:把数字类型转换成字符串类型
on haha.ID = cast(xixi.ID as string)
往期精彩回顾
第一篇 | 深圳购房投资笔记(一)-楼市有泡沫吗?(上)
第二篇 |深圳购房投资笔记(二)-楼市有泡沫吗?(中)
第三篇|深圳购房笔记(三)-亲身经历货币棚改化(上)
第四篇|深圳购房投资笔记(四)-亲身经历货币化棚改(下)
第五篇|深圳购房投资笔记(五)-因为朋友,被杭州所迷惑
第六篇|深圳购房投资笔记(六)-为何放弃在杭州定居购房
第七篇|深圳购房投资笔记(七)-神奇的深圳人口?(下)
第八篇|深圳购房投资笔记(八)-为何选择在深圳定居购房?
第九篇|深圳购房投资笔记(九)-中国最大的炒房散户欧成效先生
第十篇|深圳购房投资笔记(十)-深圳楼市拐点已来临
第十一篇|深圳购房投资笔记(十一)-楼市谣言四处飞,我向人民说实话(上)
第十二篇|深圳购房投资笔记(十二)-楼市谣言四处飞,我想人民说实话(下)
第十三篇|深圳购房投资笔记(十三)-民间炒房高手财上团(上)
第十四篇|深圳购房投资笔记(十四)-2019年的这一切都是必然的
第十五篇|深圳购房投资笔记(十五)-2019年我们的处境
深圳购房投资笔记(十六)从19年看李嘉诚为何资产
图片笔者摄于2017年9月23日18:10分,于江西省龙虎山爬山途中。好风光给人力量!