hadoop个研
猫小呆
编程是一种美德,是促使一个人不断向上发展的一种原动力。
展开
-
mapreduce join
http://database.51cto.com/art/201410/454277.htm马转载 2014-10-28 15:55:03 · 296 阅读 · 0 评论 -
Hadoop学习笔记(一)之示例程序:计算每年的最高温度MaxTemperature
转载自:http://www.cnblogs.com/beanmoon/archive/2012/12/07/2804183.html链接保留 手打完再填坑转载 2014-10-20 15:07:14 · 602 阅读 · 0 评论 -
hive 随机数避免数据倾斜
转载 仅作记录发生数据倾斜时,通常的现象是:任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个)reduce子任务未完成。查看未完成的子任务,可以看到本地读写数据量积累非常大,通常超过10GB可以认定为发生数据倾斜。数据倾斜一般是由于代码中的join或group by或distinct的key分布不均导致的,大量转载 2015-07-14 15:00:11 · 5261 阅读 · 0 评论