Hadoop Streaming 常见错误（不断更新ing)

最新推荐文章于 2021-12-20 15:42:04 发布
最新推荐文章于 2021-12-20 15:42:04 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhzblog/article/details/41021261
版权
本文列举并解决了Hadoop Streaming在使用过程中遇到的一些常见问题，包括非零退出值被视为失败的任务、CLASSPATH环境变量未设置以及在调用HDFS C接口时遇到的JNI_CreateJavaVM失败问题。同时，提供了grep和awk在Hadoop Streaming中的应用示例，并指出在调试mapred程序时可能出现的错误及其解决方法——使用dos2unix转换脚本编码。
摘要由CSDN通过智能技术生成

1、streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127
	at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:320)
	at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533)
	at org.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:120)
	at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
	at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:429)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:

解决方法：

  1. hadoop jar hadoop-streaming*.jar  
最低0.47元/天 解锁文章
Chuck_lee
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
初次使用 Hadoop Streaming 的过程（遇到各种各样的问题）
Virtual_Func的博客
11-19 1659
写搜索引擎希望能尝试使用hadoop 来进行分布式查找结果，并顺便学学老早就想学的 hadoop。花了两个晚上的时间倒腾，总算跑出了第一个结果。。虽然很累，还是挺好的。下面陈列一下遇到的问题，希望对自己或者别人都能有些帮助。我自己用的是C++，在 win10 上用 vmware 装了 ubuntu 14.04 的虚拟机，然后装了 hadoop，没有使用 eclipse，因此选择学习的是 had
Hadoop Streaming 实战： grep
热门推荐
yfk的专栏
05-05 1万+
  streaming支持shell 命令的使用。但是，需要注意的是，对于多个命令，不能使用形如cat; grep 之类的多命令，而需要使用脚本，后面将具体介绍。   下面示例用grep检索巨量数据：    1. 待检索的数据放入hdfs        $ hadoop fs -put localfile /user/hadoop/hadoopfile        使用方法：hadoop fs -put ...         从本地文件系统中复制单个或多个源路径到目标
SparkStreaming中的常见错误
大数据技术分享中心
09-14 654
在将SparkSreaming中的DStreaming打印输出时常发生这种错误： Exception in thread “main” java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute 原因是不能使用pintln(ds)这种方法，而应该用ds.println() package com.atguigu.spark.SparkStreami
Hadoop Streaming —— grep
susuyaya的学习笔记
02-15 584
streaming支持shell 命令的使用。但是，需要注意的是，对于多个命令，不能使用形如cat; grep 之类的多命令，而需要使用脚本，后面将具体介绍。   下面示例用grep检索巨量数据：    1. 待检索的数据放入hdfs        $ hadoop fs -put localfile /user/hadoop/hadoopfile        使用方法：hado
hadoop错误-Java heap space at org.apache.hadoop.io.BoundedByteArrayOutputStream
03-04 1215
设置set mapreduce.job.reduces=68;把reduce调大，会出错？ Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#3 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run
hadoop运行程序出现Error: Java heap space
不积跬步，无以致千里；不积小流，无以成江海
05-06 5428
从错误本身可以发现是堆错误，很明显是设置的值太小而导致这样错误。 在hadoop开始配置的时候，在hadoop/etc/hadoop/目录下的hadoop-env.sh文件中 export HADOOP_HEAPSIZE=是被注释掉的，查看上面的注释，这个值默认为1000，单位为Mb 这里去掉注释，修改为2000，需要注意的是这里要根据内存大小来选择值 export HADOOP_HEAP
hadoop-streaming-2.8.0_jar_2.8.0_hadoop_streaming_
09-30
标题 "hadoop-streaming-2.8.0_jar_2.8.0_hadoop_streaming_" 暗示我们正在讨论的是 Hadoop Streaming 的一个版本，具体是2.8.0。Hadoop Streaming 是一个 Hadoop 组件，允许用户使用可执行的脚本（如 Python 或 ...
Hadoop streaming详细介绍
01-10
Hadoop streaming Hadoop为MapReduce提供了不同的API，可以方便我们使用不同的编程语言来使用MapReduce框架，而不是只局限于Java。这里要介绍的就是Hadoop streaming API。Hadoop streaming 使用Unix的standard ...
Hadoop Streaming 编程
04-25
在分布式计算领域，Hadoop Streaming 是一个至关重要的工具，它使得开发者可以利用任何可执行文件或脚本（如 Java、Python、Shell 等）来编写 MapReduce 作业，而无需直接使用 Java API。Hadoop Streaming 的核心...
Hadoop执行Streaming报No such file or directory错的原因
weixin_30820077的博客
03-21 197
刚才一个以前写的demo执行不了，检查报错抛出了IO异常说找不到我指定的mapper脚本文件...可我文件明明存在的 最后发现了...我机器上没装ruby... 异常信息可以准确点吗 另外以前也遇到过 在Windows上编辑的rb文件放在Linux下给hadoop执行也是这样的报错，用dos2unix转换一下就好了 转载于:https://www.cnblogs.com/shishui...
Hadoop Streaming 实战： bash脚本
yfk的专栏
05-05 8111
  streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序    1. 待检索的数据放入hdfs        $ hadoop fs -put localfile /user/hadoop/hadoopfile    2. 编写map、reduce脚本,记得给脚本加可执行权限。        mapper.sh       #!/bin/sh wc –l        reducer.sh #!/bin/sh sum
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127
辜月
05-31 2778
最近在学大数据来到了MapReduce编程这块- - 用以下这段代码 即使用Hadoop-Streaming运行就tm一直报错 hadoop jar /opt/hadoop-2.7.3/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar -input /ncdc -output /ncdc_out -mapper max_temp_map.py -reducer max_temp_reduce.py -file max_temp_map.py -file ma
大数据:hadoop的jar包的使用出现的错误，jar包的用法。错误提示：java.lang.NumberFormatException: For input string: “/output“
weixin_45968006的博客
12-20 2475
大数据:hadoop的jar包的使用出现的错误，jar包的用法。错误提示：java.lang.NumberFormatException: For input string: "/output" 问题比较简单，也就是一个使用格式问题，不过我还是建议你看 完文章，确定按照我的步骤去做
Hadoop Streaming 问题及排查
sw
09-14 1100
@[TOP] 运行报错及排查 hdfs dfs -rm -r /output1 mapred streaming \ -input /idis_demo_dir \ -output /output1 \ -mapper wc_map.py \ -reducer wc_reducer.py \ -file wc_map.py \ -file wc_reducer.py 报错： Caused by: java.io.IOException: Cannot run program "
MapReduce FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess
Airstudy的博客
08-06 613
MapReduce任务报错 FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1 在跑MapReduce任务时，遇到过几次这样的错误，现整理已经踩过的坑 大部分情况报这个错的原因是：使用的udf文件脚本本身有问题，避免踩坑的方法也很简单，线下单独跑一边脚本即可 udf脚本没问题，问题出在脚本中需要调用配置文件，但是在MapReduce中未添加该文件名。
Hadoop集群，报java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
Jameslvt的博客
07-05 2247
跑任务先生，在Hadoop的集群，报错误：了java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子与代码1未能        在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads（PipeMapRed.java:322）        在org.apache.hadoop....
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
狼之鸿的博客
07-06 6877
hadoop中运行mapreduce出现PipeMapRed错误排查 在执行mapreduce过程中发现此错误后进行排查，一般都是因为代码出现错误导致的，之前有过几次经验，将错误可能出现的地方列举出来： 1. run.sh检查 run.sh，可能执行过程中mapper_func写成mapper_fun,找不到此方法，也可能执行命令本地没有white_list，偏偏加一句white_list执...
java子进程错误码_错误：java.lang.RuntimeException: PipeMapRed.waitOutputThreads（）：子进程失败，代码为1，工作正常...
weixin_36018494的博客
02-28 393
我在每一个论坛上都搜索过这个错误，但没有运气。我得到以下错误：18/08/29 00:24:53 INFO mapreduce.Job: map 0% reduce 0%18/08/29 00:24:59 INFO mapreduce.Job: Task Id : attempt_1535105716146_0226_m_000000_0, Status : FAILEDError: java....
Hadoop Streaming编程指南：从基础到实践
Hadoop Streaming还支持更复杂的用法，如使用环境变量、自定义分隔符、错误处理等。在实际应用中，可能会遇到如数据格式不匹配、内存溢出、性能优化等问题，需要根据具体情况调整程序逻辑或配置参数。 Hadoop ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值