Container exited with a non-zero exit code 1 .Failing this attempt.. Failing the application.

原创 2015年11月18日 15:49:16

简单的代码实现不进行详细的说明:

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

public class ImportToHbase {

@SuppressWarnings("deprecation")
public static void main(String[] args) throws Exception {
final Configuration configuration = new Configuration();
configuration.set("hbase.zookeeper.quorum", "master");
configuration.set(TableOutputFormat.OUTPUT_TABLE, "test3");
configuration.set("dfs.socket.timeout", "180000");
final Job job = new Job(configuration, ImportToHbase.class.getSimpleName());
job.setJarByClass(ImportToHbase.class);
job.setMapperClass(MyMap.class);
job.setReducerClass(MyReducer.class);
job.setMapOutputKeyClass(IntWritable.class);
job.setMapOutputValueClass(Text.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TableOutputFormat.class);
FileInputFormat.setInputPaths(job, "hdfs://master:9000/bbblll");
System.exit(job.waitForCompletion(true)?0:1);

}
static class MyMap extends Mapper<LongWritable, Text, IntWritable, Text>{
Text v2 = new Text();
int i=0;
@Override
protected void map(LongWritable key, Text value,
Context context)
throws IOException, InterruptedException {
try {
i+=1;
int rowKey =i;
v2.set(value.toString());
context.write(new IntWritable(rowKey), v2);
} catch (NumberFormatException e) {
System.out.println("出错了"+i+" "+e.getMessage());
}
}
}
static class MyReducer extends TableReducer<IntWritable, Text, NullWritable>{
@Override
protected void reduce(IntWritable k2, Iterable<Text> v2s,
Context context)
throws IOException, InterruptedException {
for (Text text : v2s) {
final String[] splited = text.toString().split("\t");
final Put put = new Put(Bytes.toBytes(k2.toString()));

put.add(Bytes.toBytes("artitle"), Bytes.toBytes("tile"), Bytes.toBytes(splited[1]));
put.add(Bytes.toBytes("artitle"), Bytes.toBytes("tag"), Bytes.toBytes(splited[2]));
context.write(NullWritable.get(), put);
}
}
}

}

我主要说一下在运行的过程中出现的一些错误:(在widows的eclipse中--导入编程所需要的包)


这个错误是由于资源的分配出现的,所以我对于yarn-site.xml和mapred-site.xml进行了修改(这个地方在网上搜了好久,看懂了一些原理,但是没有具体的解决方法)---一下仅说出自己的理由:

mapred-site.xml:


yarn-sit.xml:


在之前配置的前面加上vix.

但是在配置之后,由于在HBASE的表的问题上出现了一点小问题,经过对表进行改进,从而达到了目的



版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop常见异常及其解决方案

1、Shell$ExitCodeException 现象:运行hadoop job时出现如下异常: 14/07/09 14:42:50 INFO mapreduce.Job: Task Id : at...
  • jediael_lu
  • jediael_lu
  • 2014年07月09日 15:02
  • 21763

hadoop错误提示 exitCode: 1 due to: Exception from container-launch.

1. 在集群上运行hadoop程序有有问题 2. 错误提示代码为
  • wjcquking
  • wjcquking
  • 2014年11月18日 09:59
  • 24416

Container exited with a non-zero exit code 127

最近帮助一个朋友查看hadoop2.6.0部署的问题,群集可以正常启动, 但运行mapreduce wordcount时候,报错误 error: Container exited with a no...
  • levy_cui
  • levy_cui
  • 2016年04月13日 14:03
  • 1513

解决aapt "finished with non-zero exit value 1"问题

问题描述: 问题情境1: 使用Android Studio导入Eclipse工程后,常遇到如下的报错:com.android.ide.common.process.ProcessException...
  • zhongwcool
  • zhongwcool
  • 2015年05月08日 11:44
  • 28518

YARN调度报错Stack trace: ExitCodeException exitCode=1解决方式

网上有很多解释,但是都不适合我,单纯看表面的堆栈信息,很容易迷惑,应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示,导致使用者被表面迷糊,很...
  • wendingzhulu
  • wendingzhulu
  • 2016年12月11日 07:53
  • 7186

spark sql运行出错(Container killed on request. Exit code is 143)

错误描述:SQL三张表做join运行出错;用hive执行报错如下: Diagnostic Messages for this Task: Container [pid=27756,conta...
  • yijichangkong
  • yijichangkong
  • 2016年05月06日 16:05
  • 14393

【汇总】ExitCodeException问题Ooz…

这种问题光看yarn的log,是看不出到底啥毛病的。 Application application_1486993422162_0079 failed 2 times due to AM Conta...
  • u010770993
  • u010770993
  • 2017年04月21日 10:54
  • 730

fastlane Xcode9 The call to the iTMSTransporter completed with a non-zero exit status: 1. This indic

问题升级 Xcode9 以后,原有的 fastlane 打包和分发脚本不能正常使用。1、gym export_options 变化Xcode9 中的 Export 操作需要指定更多的信息,对应的 fa...
  • andanlan
  • andanlan
  • 2017年10月11日 19:10
  • 168

Hadoop常见异常及其解决方案

1、Shell$ExitCodeException 现象:运行hadoop job时出现如下异常: 14/07/09 14:42:50 INFO mapreduce.Job: Task Id : at...
  • jediael_lu
  • jediael_lu
  • 2014年07月09日 15:02
  • 21763

yarn 集群部署,遇到的问题小结

1. Application Master 无法访问     点击application mater 链接,出现 http 500 错误,java.lang.Connect.exception...
  • uniquechao
  • uniquechao
  • 2014年05月21日 10:20
  • 11596
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Container exited with a non-zero exit code 1 .Failing this attempt.. Failing the application.
举报原因:
原因补充:

(最多只允许输入30个字)