在Hadoop上调试HadoopStreaming程序的方法详解 by 道凡

点击查看原文

Hadoop提供若干种在调试HadoopStreaming的方法,供你使用,方便你快速定位问题。

  • 让HadoopStreaming程序跑在开发机上。(推荐在开发时使用)
    在jobconf中加上mapred.job.tracker=local。数据的输入和输出都是来自HDFS
    此时,HadoopStreaming会在本地运行程序
  •  保留出错的现场(推荐在跑大数据量时使用)
    通过设置jobconf参数keep.failed.task.files=true,当程序出错时,可以保留现以供
    Debug。可以通过GUI查到到具体是在哪个节点运行失败,然后登陆到该节点<local>/taskTracker/<taskid>/work/ ,查看core文件。
  •  通过script程序收集信息来调试程序(推荐在开发时使用)
    编写调试脚本程序,通过脚本,可以把程序执行过程中任何现场都保留下来,比如
    Core文件的堆栈信息,这样可以确定程序具体是在什么地方出错。
    脚本的调用方式如下:
    $script $stdout $stderr $syslog $jobconf 程序名
    

    (注:在官方文档
    http://wiki.apache.org/hadoop/HowToDebugMapReducePrograms 描述中程序名会通过第5个参数返回,但笔者在Hadoop 0.19的测试环境中,得到这个参数是空的。)
    脚本示例:

    core=`find . -name 'core*'`;
    cp $core /home/admin/
    gdb -quiet ./a.out -c $core -x ./pipes-default-gdb-commands.txt
    

    pipes-default-gdb-commands.txt注明了执行的gdb命令

    info threads
    backtrace
    quit
    

    (注明:如果要正确执行以上的脚本,必须让程序能输出core文件,可以在程序中加入如下代码段)

    struct rlimit limit;
    limit.rlim_cur = 65535;
    limit.rlim_max = 65535;
    if (setrlimit(RLIMIT_CORE, &limit) != 0) {
        printf("setrlimit() failed with errno=%s\n", strerror(errno));
        exit(1);
    }
    

    然后在jobconf中,把要执行的script赋给变量”mapred.map.task.debug.script”或”mapred.reduce.task.debug.script”。 这样当HadoopStreaming执行过程发生core dump,就可以通过JobTracker的GUI界面看到GDB的信息了。



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值