hadoop pipes 中遇到问题

原创 2016年05月30日 17:39:14

c++实现的mapreduce代码没有问题,执行指令时候提示 如下


16/05/30 17:43:33 INFO mapreduce.Job: Task Id : attempt_1464593740608_0013_m_000002_0, Status : FAILED
Error: java.io.IOException: pipe child exception
        at org.apache.hadoop.mapred.pipes.Application.abort(Application.java:226)
        at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:102)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.io.EOFException
        at java.io.DataInputStream.readByte(DataInputStream.java:267)
        at org.apache.hadoop.io.WritableUtils.readVLong(WritableUtils.java:308)
        at org.apache.hadoop.io.WritableUtils.readVInt(WritableUtils.java:329)
        at org.apache.hadoop.mapred.pipes.BinaryProtocol$UplinkReaderThread.run(BinaryProtocol.java:125)


这个是因为命令指定不对引起的:

正确命令:

        hadoop pipes -D hadoop.pipes.java.recordreader=true -D hadoop.pipes.java.recordwriter=true -input /input -output /output12 -program /cppexe/wordcount


注意点: 1、大小写问题

                  2、两个   -D

                  3、hadoop.pipes.java.recordreaderhadoop.pipes.java.recordwriter 的设置 值及大小写

hadoop安装和hadoop pipes编程说明

hadoop的安装和启动以及hadoop pipes的编程说明,重点是hadoop pipes相关的东西
  • syx19930206
  • syx19930206
  • 2015年07月22日 19:37
  • 897

Hadoop安装遇到的各种异常及解决办法(1)

异常一: 2014-03-13 11:10:23,665 INFO org.apache.Hadoop.ipc.Client: Retrying connect to server: Linux-h...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2014年09月14日 14:02
  • 23791

基于C++的MapReduce实现(HCE)

主要研究怎么使用MapReduce实现C++的调用
  • hit_090420216
  • hit_090420216
  • 2015年04月02日 10:00
  • 3232

Hadoop Streaming和Pipes

原始问题的引出见:http://bbs.hadoopor.com/viewthread.php?tid=542  在论坛里搜索了下,发现了两篇利用C/C++编写mapreduce的文章.如下:  h...
  • nuoline
  • nuoline
  • 2013年02月25日 18:41
  • 809

hadoop下的Pipes(用C++进行hadoop程序开发)

经过一上午的努力,终于以伪分布式模式运行了C++版的MapReduce.下面逐一介绍这一过程 一、先决条件     1. 在Linux系统上已安装好hadoop 1.0.X版本(本人系统为Ce...
  • lxxgreat
  • lxxgreat
  • 2012年07月17日 15:39
  • 3603

Hadoop Exit Code 含义

经常遇到的exception是: 1. PipeMapRed.waitOutputThreads(): subprocess failed with code N  ............ 2. ...
  • mango_song
  • mango_song
  • 2013年08月15日 15:25
  • 5868

hadoop mapred(hive)执行目录 文件权限问题

在配置其他linux用户使用hive 的cli客户端时,发现该用户没有对/tmp目录的写权限,于是将/tmp目录下权限设置为777:bin  /hadoop fs -chmod -R 777 /tmp...
  • azhao_dn
  • azhao_dn
  • 2011年10月31日 14:36
  • 20805

Hadoop pipes设计原理

1. 什么是Hadoop pipes? Hadoop pipes允许用户使用C++语言进行MapReduce程序设计。它采用的主要方法是将应用逻辑相关的C++代码放在单独的进程中,然后通...
  • GarfieldEr007
  • GarfieldEr007
  • 2016年03月18日 21:48
  • 287

Hadoop pipes

4. 总结 Hadoop pipes给C++程序员提供了一个编写MapReduce作业的方案,它使用socket让Java和C++之间进行通信,这类似于thrift RPC的原理,也许Hadoo...
  • qiezikuaichuan
  • qiezikuaichuan
  • 2015年06月30日 16:31
  • 243

HCE初体验

HCE, short for Hadoop c++ extension 据说效率可以比传统Hadoop提高20%以上,计划用倒排索引测试其真实的效率。暂定使用3台节点,每个节点16核cpu。 一天...
  • sraing
  • sraing
  • 2011年08月10日 15:59
  • 4659
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop pipes 中遇到问题
举报原因:
原因补充:

(最多只允许输入30个字)