mapreduce 调试

mapreduce 如何进行有效的调试。

1)、对工程先编译，打jar包，再传到集群的节点上，在执行Hadoop jar 命令。

2)、每次发现有个bug,1）又得执行一次，那个叫浪费生命啊。

有没有比较方便些的方法呢。

1、因在Hadoop集群下不好进行远程调试，我们可以通过设置文件的大小（或控制分片的大小）使测试阶段map个数为1，同时设置reduce的个数也为1，使用打印日志的方式（可以写个小工具，让输出到hdfs）。

2、每次把要更改的.class文件传到执行的节点，通过 解jar，把.class替换掉，再打成jar包。这些都可以固化成脚本。

3、每次通过看输出的日志，可以很方便的查看异常。