- 博客(2)
- 收藏
- 关注
原创 hadoop 程序在运行时 reduce过程卡在某个进度不动的问题
今天写好hadoop 程序之后,进行线上测试,驶入数据为一个hive表的文件,location到了一个hdfs目录下,然后跑hadoop的过程中,map阶段没有出现问题,但是每次到了reduce阶段,进度都卡在33%不动了,刚开始以为是集群问题,后来重新启动了几次任务,都是这种情况。可能的情况1:后来在stackoverflow上找到了答案,这是hadoop上数据倾斜造成的问题(我的hiv
2016-10-21 18:29:06 7756
原创 hadoop wordcount demo 编译、打包、运行(自己的经历)
hadoop原理大家都已烂熟于心,不介绍了,这里记录一下在将wordcount源码打包为jar过程中的步骤。便于自己后续查看也为需要的童鞋提供方便。其实在hadoop目录下已有许多jar包的demo,可以直接通过命令haoop jar *.jar 运行,如果想查看其源码,最简单的方法是将jar文件考本到windows平台上,用jd-gui进行反编译
2016-09-09 11:47:38 1538
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人