MapReduce代码中,Job.waitForCompletion方法及System.exit方法

最新推荐文章于 2021-07-26 22:02:59 发布
最新推荐文章于 2021-07-26 22:02:59 发布
阅读量4.4k 收藏 15
点赞数 3
分类专栏： 大数据笔记 文章标签： hadoop mapreduce java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40579464/article/details/103898445
版权

Job.waitForCompletion

简述:事实上,存在waitForCompletion(true)和waitForCompletion(false),前者表示运行进度信息将输出给用户,后者表示仅仅等待作业结束.
......
// 提交job
boolean result = job.waitForCompletion(true);
System.exit(result ? 0 : 1);
一般来说,waitForCompletion会要求作业必须完成,而submit则仅提交job,所以使用waitForCompletion更加靠谱一些.

System.exit

对于System.exit方法,括号内参数是0或1.前者表示正常退出,并将整个虚拟机里的内容都停掉了;后者则表示非正常退出
所以说,前面System.exit(result ? 0 : 1)代码中,根据result的值将可以判定程序是否为正常退出.
z5241248
关注
专栏目录
idea本地运行mapreduce程序
chenzhongwei99的专栏
05-19 1万+
上一篇文章介绍了如何在idea上运行hdfs程序，中间出现了很多错误，通过不断的在网上查找资料和自己的尝试。终于可以正常运行了。 这篇我们将进行mapreduce程序的调试。 准备工作： 下载hadoop到windows本地 地址:https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz 解
Hadoop源码解读-Job初始化过程
ancin
12-06 249
首先看看Hadoop ssh 脚本 elif [ "$COMMAND" = "jar" ] ; then CLASS=org.apache.hadoop.util.RunJar 任务递交。 WordCount 里面有一句话： [code="java"] System.exit(job.waitForCompletion(true) ? 0 ...
job.waitForCompletion的具体流程
黑夜舞者的专栏
08-27 1万+
Job运行是通过job.waitForCompletion(true)，true表示将运行进度等信息及时输出给用户，false的话只是等待作业结束 Job对象有两种状态：DEFINE和RUNNING，是通过JobState枚举类定义的 public static enum JobState {DEFINE, RUNNING} 当一个对象创建时，state状态被声明为DEFINE pr
浅析Hadoop源码-运用Eclipse简单跟踪waitForCompletion探寻切片机制
JiajunBernoulli的博客
01-28 392
文章目录前言过程探寻前奏生成目录处理切片生成文件汇总配置后记 前言 过程 探寻前奏 首先在提交处设置断点 F5进入waitForCompletion， 可以看到这个方法不算太长 显然waitForCompletion是对submit的封装，在其基础上多了一些校验；继续进入submit查看一下 这里确认状态、进行了版本适配，连接获得集群对象再将这个job提交 在方法return处设置断点进去 ...
Linux下wait_for_completion函数分析
Android开发
09-19 3242
先看个使用实例 init_completion(&tx_done_complete); wait_for_completion_timeout(&tx_done_complete,msecs_to_jiffies(100)); complete(&tx_done_complete); 分析围绕这三个函数进行 init_completion struct completion { unsigned int done; wait_queue_head_t wait; };
System.exit(0)
稻香的专栏
12-16 698
System.exit(0)是将你的整个虚拟机里的内容都停掉了 ，而dispose()只是关闭这个窗口，但是并没有停止整个application exit() 。无论如何，内存都释放了！也就是说连JVM都关闭了，内存里根本不可能还有什么东西 System.exit(0)是正常退出程序，而System.exit(1)或者说非0表示非正常退出程序 System.exit(status)不管stat
解释System.exit(job.waitForCompletion(true) ? 0 : 1)的作业
04-19
如果任务成功完成，waitForCompletion()方法返回true，System.exit()方法将返回代码0表示正常退出，否则返回代码1表示异常退出。因此，这个语句的作用是在任务完成后退出程序，并返回正确的退出代码。
Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCountDriver.class); job.setMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1);
06-09
这是一个使用Hadoop MapReduce框架实现的...程序最后调用`job.waitForCompletion(true)`提交作业并等待作业完成，`System.exit(job.waitForCompletion(true) ? 0 : 1)`表示当作业完成时退出程序并返回0，否则返回1。
public class main { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration conf = new Configuration(); conf.set("mapreduce.framework.name", "local"); Job job = Job.getInstance(conf); job.setJarByClass(main.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); //设置Reduce节点的个数为：1个 空1：_________________________________ FileInputFormat.setInputPaths(job, new Path("D:/mr/input")); FileOutputFormat.setOutputPath(job, new Path("D:/mr/output")); boolean res = job.waitForCompletion(true); System.exit(res ? 0 : 1); }
06-02
最后，调用 job.waitForCompletion() 方法提交并运行这个 MapReduce 任务，并等待任务完成。完成后，程序将返回一个布尔值表示任务是否成功执行，最后通过 System.exit() 方法结束程序的运行。 需要注意的是，空1处...
package 哪个region下面的用户出现违约情况最多; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Region Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
06-06
根据您提供的代码，可以看出这是一个MapReduce程序，用于统计哪个region下面的用户出现违约情况最多。具体实现可以参考以下几点： 1. Map阶段：MyMapper类实现了Map接口，用于将输入的数据进行处理，将region作为...
org.apache.hadoop.io.nativeio
09-06
必须将此jar包放在org.apache.hadoop.io包下，否则无法正常覆盖使用
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "House_ownership Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
最新发布
06-10
这是一个使用Hadoop MapReduce框架进行数据处理的Java程序，其中的MyMapper和MyReducer分别是自定义的Mapper和Reducer类，用于完成具体的数据处理逻辑。该程序的作用是统计房屋拥有情况的默认情况，并将结果输出到...
Java中的System.exit（）
从零开始的教程世界
07-07 4834
The System.exit() method terminates the Java virtual machine. This method takes an argument, which is the status code passed to the caller. System.exit（）方法终止Java虚拟机。 此方法采用一个参数，这是传递给调用方的状态代码。 A status...
解决 hadoop调用job.waitForCompletion(true);这个函数为false和返回空指针
qq_21277357的博客
09-16 5978
第一步 把linux的hadoop-2.6.0-cdh5.15.1.tar 下载到本地 第二步 以管理员方式解压hadoop-2.6.0-cdh5.15.1.tar 第三步 把对应版本的hadoop.dll(这个去https://github.com/steveloughran/winutils（/bin目录下）找对应的版本,我这边是2.6的版本),放到C:\Windows\System3...
job.waitForCompletion(true)空指针问题
momo的专栏
09-16 8448
hadoop2.x在windows下编译缺少winutils.exe，需要重新下载一个并且编译hadoop_home环境变量。 在system32文件夹下添加hadoop.dll文件。 问题解决！
Java的System.exit()详解
bboy枫亭的博客
08-02 5990
说到 java.lang.System.exit() 这个方法，咱们先看下 JDK8 的 API 中怎么说 为方便大家分析，我给粘下来 public static void exit(int status) Terminates the currently running Java Virtual Machine. The argument serves as a status code; by convention, a nonzero status code indicates abnormal te
system.exit(0) system.exit(1) 含义与区别
weixin_34417635的博客
09-22 165
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop框架--Job提交流程--本地模式
weixin_42238367的博客
01-29 1481
1.job.waitForCompletion(true); /** * 主要是将任务提交到集群中去并等待完成 * boolean verbose：是否将进度打印给用户看 * return 任务成功返回true */ public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException,
System.exit()方法的详解
热门推荐
qq_40474507的博客
07-26 2万+
       exit()方法属于System类，System这个类是在java.lang包中，我们从API文档中找到这个方法（java.lang包在系统运行中自动加载，不需要通过import这个方法，System这个类是在java.lang包中，java.lang包在系统运行中自动加载，不需要通过import语句导入，所以可以直接调用该方法）。 从这里我们可以看出关于exit()方法：     
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值