hadoop pipes 中遇到问题

原创 2016年05月30日 17:39:14

c++实现的mapreduce代码没有问题,执行指令时候提示 如下


16/05/30 17:43:33 INFO mapreduce.Job: Task Id : attempt_1464593740608_0013_m_000002_0, Status : FAILED
Error: java.io.IOException: pipe child exception
        at org.apache.hadoop.mapred.pipes.Application.abort(Application.java:226)
        at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:102)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.io.EOFException
        at java.io.DataInputStream.readByte(DataInputStream.java:267)
        at org.apache.hadoop.io.WritableUtils.readVLong(WritableUtils.java:308)
        at org.apache.hadoop.io.WritableUtils.readVInt(WritableUtils.java:329)
        at org.apache.hadoop.mapred.pipes.BinaryProtocol$UplinkReaderThread.run(BinaryProtocol.java:125)


这个是因为命令指定不对引起的:

正确命令:

        hadoop pipes -D hadoop.pipes.java.recordreader=true -D hadoop.pipes.java.recordwriter=true -input /input -output /output12 -program /cppexe/wordcount


注意点: 1、大小写问题

                  2、两个   -D

                  3、hadoop.pipes.java.recordreaderhadoop.pipes.java.recordwriter 的设置 值及大小写

Hadoop的C++扩展了解(1)

HCE, short for Hadoop c++ extension 据说效率可以比传统Hadoop提高20%以上,计划过几天用倒排索引测试其效率。暂定使用3台节点,每个节点16核cpu。 ...

hadoop上的C++程序开发

hadoop可以用C++开发,命令运行方式为pipes,例子:hadoop pipes -conf job_config.xml -input input/myfile.txt -output out...

hadoop环境配置过程中可能遇到问题的解决方案

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致ha...

Hadoop 2.4.1 搭建Ha遇到问题记录

15/06/19 17:12:44 ERROR namenode.FSNamesystem: FSNamesystem initialization failed. java.io.IOExcepti...

编译hadoop源码遇到问题 及时解决

最近在研究hadoop,在用maven编译源码的过程中出现了个错误,一直编译过不去: [INFO] ---------------------------------------------...

myeclipse配置hadoop开发环境,及遇到问题解决

eclipse版本:eclipse-jee-indigo-SR2-win32   1、安装Hadoop开发插件      hadoop安装包contrib/目录下有个插件hadoop-1.2...

在Hadoop研究过程中遇到问题杂记(后续再补充)

其实学习一门

hadoop配置遇到问题的解决

ssh localhost: 不能登陆:将错误提示中的文件全部删除。原因:登陆过远程主机...

遇到问题---Hadoop---java.io.IOException: Incompatible namespaceIDs

现象我们前面做完了namenode format之后,用./start-all.sh 重启之后jps检查发现slave机子的datanode没有启动起来。如图:少了datanode。进入日志路径查看日...

myeclipse配置hadoop开发环境,及遇到问题解决

转:http://www.dataguru.cn/thread-203560-1-1.html 参见myeclipse配置hadoop开发环境,及遇到问题解决http://f.dataguru.cn...
  • pzasdq
  • pzasdq
  • 2016年02月16日 10:36
  • 356
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop pipes 中遇到问题
举报原因:
原因补充:

(最多只允许输入30个字)