mapreduce 调试

mapreduce 如何进行有效的调试。

1)、对工程先编译,打jar包,再传到集群的节点上,在执行Hadoop jar 命令。

2)、每次发现有个bug,1)又得执行一次,那个叫浪费生命啊。

有没有比较方便些的方法呢。

1、因在Hadoop集群下不好进行远程调试,我们可以通过设置文件的大小(或控制分片的大小)使测试阶段map个数为1,同时设置reduce的个数也为1,使用打印日志的方式(可以写个小工具,让输出到hdfs)。

2、每次把要更改的.class文件传到执行的节点,通过 解jar,把.class替换掉,再打成jar包。这些都可以固化成脚本。

3、每次通过看输出的日志,可以很方便的查看异常。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lw305080/article/details/49943573
文章标签: mapreduce 调试
个人分类: hadoop
上一篇Java源码剖析 sun.misc.Unsafe
下一篇linux 解压jar和压缩成jar包
想对作者说点什么? 我来说一句

mapreduce mapreduce mapreduce

2011年06月03日 62KB 下载

没有更多推荐了,返回首页

关闭
关闭