mapreduce 调试

原创 2015年11月20日 10:11:34

mapreduce 如何进行有效的调试。

1)、对工程先编译,打jar包,再传到集群的节点上,在执行Hadoop jar 命令。

2)、每次发现有个bug,1)又得执行一次,那个叫浪费生命啊。

有没有比较方便些的方法呢。

1、因在Hadoop集群下不好进行远程调试,我们可以通过设置文件的大小(或控制分片的大小)使测试阶段map个数为1,同时设置reduce的个数也为1,使用打印日志的方式(可以写个小工具,让输出到hdfs)。

2、每次把要更改的.class文件传到执行的节点,通过 解jar,把.class替换掉,再打成jar包。这些都可以固化成脚本。

3、每次通过看输出的日志,可以很方便的查看异常。

版权声明:本文为博主原创文章,未经博主允许不得转载。

hadoop mapreduce helloworld 能调试

  • 2016年12月14日 17:19
  • 36.44MB
  • 下载

mapreduce程序本地模式调试

Exception in thread "main" java.lang.IllegalArgumentException: Pathname /c:/wordcount/output6666 fro...

MapReduce程序调试工具--MRUnit简介与使用

MRUnit简介:         当hadoop的MapReduce作业提交到集群环境中运行,对于出问题的定位比较是比较麻烦的,有时需要一遍遍的修改代码和打印出日志来排查一个很小的问题,如果数据量大...

MapReduce编程实战之“调试”

本篇内容 在上一篇的“初识”环节,我们已经在本地和Hadoop集群中,成功的运行了几个MapReduce程序,对MapReduce编程,已经有了最初的理解。 在本篇文章中,我们对MapRe...

hadoop学习笔记2.windows上远程调试MapReduce

要调试MapReduce首先的安装Eclipse,然后再安装Hadoop插件到Eclipse中 1.安装Hadoop插件到Eclipse 1.1  安装hadoop-eclipse-plugin-...

hadoop mapreduce 程序调试日志合并查看shell

hadoop mapreduce 程序调试日志合并查看shell 上一篇文章介绍了如何在web中查看日志并且进行调试。现在介绍一种通过shell方式进行处理调试信息。 本文阅读前提: 1、已...

hadoop MapReduce开发调试实践得出的2点体会

今天折腾了一天,终于搞明白了几点: 1. Mapper和Reducer的单元测试可以在windows环境下的Eclipse中进行。      我用的hadoop 1.1.1。 需要有hadoop-...

hadoop 2.6 的安装,调试,Yarn ,调用系统的 在Yarn框架下的 mapreduce 例子

折腾了好久,终于搞定hadoop 2.6 在yarn框架下运行系统给予的一个mapreduce例子成功 中间报了很多错,折腾了2,3天。 参考: http://tecadmin.net/setup-h...

IDEA远程调试mapreduce程序

之前很多人跑mapreduce任务只知道在在本地打成jar,提交到hadoop集群上去跑任务,如果出现错误往往很难定位错误,所以远程debug是开发中不可或缺的技能。通常大家都是在本地写好mapred...

mapreduce调试查询System.out的结果

1.前言 刚接触mapreduce的人肯定为碰到这样的问题,就是我们在程序中如下类似的命令 System.out.println(year+" "+airTemperature);//无效,控...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:mapreduce 调试
举报原因:
原因补充:

(最多只允许输入30个字)