你的数据倾斜了吗?
hive数据倾斜的吧表现
发现所有的map tast全部完成,并且99%的reduct tast完成,只剩下一个或者少数几个reduce tast一直在执行,这种情况下一般是发生了数据倾斜。hive 的数据倾斜本质上就是mapreduce的数据倾斜
hive数据倾斜的原因
大量相同的key被分配到一个reduce里,造成一个reduce任务类的要死,其他reduce任务闲的要死,查看任务进度,发现长时间停留在99%或100%,检查任务监控界面,只有少量的reduce子任务未完成。
key 分布不均匀。
业.





