- 博客(2)
- 收藏
- 关注
RSS订阅原创 hadoop 程序在运行时 reduce过程卡在某个进度不动的问题
今天写好hadoop 程序之后，进行线上测试，驶入数据为一个hive表的文件，location到了一个hdfs目录下，然后跑hadoop的过程中，map阶段没有出现问题，但是每次到了reduce阶段，进度都卡在33%不动了，刚开始以为是集群问题，后来重新启动了几次任务，都是这种情况。 可能的情况1： 后来在stackoverflow上找到了答案，这是hadoop上数据倾斜造成的问题（我的hiv
2016-10-21 18:29:06
7712
原创 hadoop wordcount demo 编译、打包、运行（自己的经历）
hadoop原理大家都已烂熟于心，不介绍了，这里记录一下在将wordcount源码打包为jar过程中的步骤。便于自己后续查看也为需要的童鞋提供方便。 其实在hadoop目录下已有许多jar包的demo，可以直接通过命令haoop jar *.jar 运行，如果想查看其源码，最简单的方法是将jar文件考本到windows平台上，用jd-gui进行反编译
2016-09-09 11:47:38
1525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人