Hadoop Streaming 常见错误

1、streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败

[plain]  view plain copy

1. java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed wi  
2. th code 1  
3.     at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.j  
4. ava:311)  
5.     at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java  
6. :545)  
7.     at org.apache.hadoop.streaming.PipeReducer.reduce(PipeReducer.java:130)  
8.     at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:519  
9. )  
10.     at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:420)  
11.     at org.apache.hadoop.mapred.Child$4.run(Child.java:255)  
12.     at java.security.AccessController.doPrivileged(Native Method)  
13.     at javax.security.auth.Subject.doAs(Subject.java:396)  
14.     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInforma  
15. tion.java:1093)  
16.     at org.apache.hadoop.mapred.Child.main(Child.java:249)  

解决方法：

[plain]  view plain copy

1. hadoop jar hadoop-streaming*.jar  
2. -jobconf stream.non.zero.exit.is.failure=false  

2、在执行streaming任务时，出现：Environment variable CLASSPATH not set!
解决方法：

在执行streaming时，加上选项：

[plain]  view plain copy

1. -cmdenv CLASSPATH=$CLASSPATH   

3、在调用HDFS的C接口时，出现：Call to JNI_CreateJavaVM failed with error: -1

原因：貌似是因为在编译的时候加上了libjvm，然后动态链接库那也加了。解决方法，编译的时候去掉libjvmm的链接就可以了。

转自：http://blog.csdn.net/deqingguo/article/details/7448427