MapReduce代码中,Job.waitForCompletion方法及System.exit方法

最新推荐文章于 2023-04-07 22:45:00 发布
最新推荐文章于 2023-04-07 22:45:00 发布
阅读量4.2k 收藏 15
点赞数 3
分类专栏： 大数据笔记 文章标签： hadoop mapreduce java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40579464/article/details/103898445
版权

Job.waitForCompletion

简述:事实上,存在waitForCompletion(true)和waitForCompletion(false),前者表示运行进度信息将输出给用户,后者表示仅仅等待作业结束.
......
// 提交job
boolean result = job.waitForCompletion(true);
System.exit(result ? 0 : 1);
一般来说,waitForCompletion会要求作业必须完成,而submit则仅提交job,所以使用waitForCompletion更加靠谱一些.

System.exit

对于System.exit方法,括号内参数是0或1.前者表示正常退出,并将整个虚拟机里的内容都停掉了;后者则表示非正常退出
所以说,前面System.exit(result ? 0 : 1)代码中,根据result的值将可以判定程序是否为正常退出.
赵昕彧
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
idea本地运行mapreduce程序
chenzhongwei99的专栏
05-19 1万+
上一篇文章介绍了如何在idea上运行hdfs程序，中间出现了很多错误，通过不断的在网上查找资料和自己的尝试。终于可以正常运行了。 这篇我们将进行mapreduce程序的调试。 准备工作： 下载hadoop到windows本地 地址:https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz 解
MapReduce之wordcount范例代码
01-04
System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 这段代码中，`TokenizerMapper`实现了Map功能，将文本分割成单词，而`IntSumReducer`则实现了Reduce功能，对每个单词的出现次数进行求和。`main`方法...
job.waitForCompletion的具体流程
黑夜舞者的专栏
08-27 1万+
Job运行是通过job.waitForCompletion(true)，true表示将运行进度等信息及时输出给用户，false的话只是等待作业结束 Job对象有两种状态：DEFINE和RUNNING，是通过JobState枚举类定义的 public static enum JobState {DEFINE, RUNNING} 当一个对象创建时，state状态被声明为DEFINE pr
Hadoop学习笔记（七）Job提交流程源码分析
qq_40432544的博客
11-16 1031
Job提交流程源码分析 1 从 job.waitForCompletion 开始，进入waitForCompletion（）开始进行提交。 2 在waitForCompletion中进行状态的确认。 共有两种状态：DEFINE和RUNING, ​ DEFINE状态进入submit（）中。 ​ RUNING状态表示集群此时正在运行，无法进行提交。 3 再次确认状态 再次确认状态为DEFINE，同时在connect（）中会根据本地模式或是远程集群生成不同的对象，若是本地则生成 LocalJobRunner
Hadoop框架--Job提交流程--本地模式
weixin_42238367的博客
01-29 1439
1.job.waitForCompletion(true); /** * 主要是将任务提交到集群中去并等待完成 * boolean verbose：是否将进度打印给用户看 * return 任务成功返回true */ public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException,
【大数据之Hadoop】十、MapReduce中job提交流程源码分析
阿宁的博客
04-07 321
源码中：job提交三个信息（jar包，xml，切片信息），在本地不需要提交jar包，只有在集群上才需要提交。
大数据平台构建：一个简单的MapReduce程序.pptx
06-21
System.exit(job.waitForCompletion(true) ? 0 : 1); } ``` 三、习题解答 1. **MapReduce中Mapper如何实现？** Mapper的实现通常包括读取输入数据，对其进行解析，然后生成新的键值对。在WordCount中，Mapper...
MapReduce WordCount Java API代码实现，包括pom.xml的配置
03-14
System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 接下来，我们转向`pom.xml`配置。这个文件对于Java项目来说至关重要，它定义了项目依赖、构建过程等信息。在MapReduce WordCount程序中，我们需要...
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第9期_MapReduce初级案例 共43页.pdf
03-20
System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在这个程序中，`TokenizerMapper`类负责将输入数据的value复制到输出的key中，而`IntSumReducer`类则简单地将key复制到输出，无视value。 4. **运行...
mapreduce的简单的原理和计数代码
12-26
System.exit(job.waitForCompletion(true) ? 0 : 1); } ``` ### 总结 通过以上介绍，我们了解了MapReduce的基本原理以及如何利用Java编程语言实现一个简单的单词计数任务。MapReduce的核心思想在于将大数据问题...
Linux下wait_for_completion函数分析
Android开发
09-19 3081
先看个使用实例 init_completion(&tx_done_complete); wait_for_completion_timeout(&tx_done_complete,msecs_to_jiffies(100)); complete(&tx_done_complete); 分析围绕这三个函数进行 init_completion struct completion { unsigned int done; wait_queue_head_t wait; };
MapReduce_Job提交流程源码详解
底层码农
03-07 1万+
版本：Apache Hadoop 2.7.2 运行环境：Windows10 Eclipse Debug:https://blog.csdn.net/qq_40794973/article/details/87876772 主要介绍的是写完mr(job) 如何提交到集群上，这一段过程它执行了哪些操作。写一个简答的 WordCount ，通过调试来看程序是如何执行的。 1、创建一个 Mav...
Java中的System.exit（）
从零开始的教程世界
07-07 4761
The System.exit() method terminates the Java virtual machine. This method takes an argument, which is the status code passed to the caller. System.exit（）方法终止Java虚拟机。 此方法采用一个参数，这是传递给调用方的状态代码。 A status...
System.exit()方法的详解
热门推荐
qq_40474507的博客
07-26 2万+
       exit()方法属于System类，System这个类是在java.lang包中，我们从API文档中找到这个方法（java.lang包在系统运行中自动加载，不需要通过import这个方法，System这个类是在java.lang包中，java.lang包在系统运行中自动加载，不需要通过import语句导入，所以可以直接调用该方法）。 从这里我们可以看出关于exit()方法：     
解决 hadoop调用job.waitForCompletion(true);这个函数为false和返回空指针
qq_21277357的博客
09-16 5871
第一步 把linux的hadoop-2.6.0-cdh5.15.1.tar 下载到本地 第二步 以管理员方式解压hadoop-2.6.0-cdh5.15.1.tar 第三步 把对应版本的hadoop.dll(这个去https://github.com/steveloughran/winutils（/bin目录下）找对应的版本,我这边是2.6的版本),放到C:\Windows\System3...
MapReduce任务提交源码分析
qq_40337206的博客
08-31 182
MapReduce任务提交 API 调用顺序： waitForCompletion -》 submit -》submitJobInternal 主要的部分在 submitJobInternal 1. 任务提交 waitForCompletion job.waitForCompletion(true) 2. 任务提交 submit 3.任务提交 submitJobInternal 3.1 ...
初探MapReduce
m0_73706260的博客
12-08 379
初探MapReduce
MapReduce作业运行机制
weixin_30414245的博客
06-28 90
一，作业的提交 Job.waitForCompletion(true): 1)此方法调用submit(). 在Submit()方法里面连接JobTracker，即生成一个内部JobSummitter（实际上是new JobClient(),在new JobClient()里面生成一个JobSubmissionProtocol接口(JobTracker实现了此接口)对象jobSubmitC...
解释System.exit(job.waitForCompletion(true) ? 0 : 1)的作业
最新发布
04-19
如果任务成功完成，waitForCompletion()方法返回true，System.exit()方法将返回代码0表示正常退出，否则返回代码1表示异常退出。因此，这个语句的作用是在任务完成后退出程序，并返回正确的退出代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值