关闭

mapreduce 调试

标签: mapreduce 调试
158人阅读 评论(0) 收藏 举报
分类:

mapreduce 如何进行有效的调试。

1)、对工程先编译,打jar包,再传到集群的节点上,在执行Hadoop jar 命令。

2)、每次发现有个bug,1)又得执行一次,那个叫浪费生命啊。

有没有比较方便些的方法呢。

1、因在Hadoop集群下不好进行远程调试,我们可以通过设置文件的大小(或控制分片的大小)使测试阶段map个数为1,同时设置reduce的个数也为1,使用打印日志的方式(可以写个小工具,让输出到hdfs)。

2、每次把要更改的.class文件传到执行的节点,通过 解jar,把.class替换掉,再打成jar包。这些都可以固化成脚本。

3、每次通过看输出的日志,可以很方便的查看异常。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:26992次
    • 积分:705
    • 等级:
    • 排名:千里之外
    • 原创:33篇
    • 转载:53篇
    • 译文:0篇
    • 评论:0条