如何强制关闭正在运行的MapReduce任务

最新推荐文章于 2023-06-08 10:46:10 发布
最新推荐文章于 2023-06-08 10:46:10 发布
阅读量5.4k 收藏 5
点赞数 4
分类专栏： hadoop mapreduce 文章标签： mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nicholas_dlut/article/details/88543802
版权

获取任务id，然后通过命令关闭：

hadoop job -list

hadoop job -kill job_id

新版本的hadoop可能要新的命令：

yarn application -list

yarn application -kill job_id

nicholas_dfx
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce开发案例
03-07
MapReduce的核心思想是将大任务分解为小任务并行处理，然后将结果合并。它由两个主要阶段组成：Map阶段和Reduce阶段。在Map阶段，原始数据被分割成多个块，并分配给集群中的各个节点进行处理。每个节点上的Mapper...
big-data-wordcount:使用 Hadoop Yarn 的大数据分析大数据科学的简化入门项目。 与 Spring Boot 和 Spring for Hadoop 集成，提供统一的配置模型和易于使用的 API 的访问，以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的，您没听错——不需要运行 Hadoop 集群来测试您的代码！ 该项目将根据您的需要在本地启动 Hadoop，然后在运行您的 MapReduce 代码后将其关闭
06-21
大数据字数 使用 Hadoop Yarn 的大数据分析/大数据科学的简化入门项目。 与 Spring Boot 和 Spring for Hadoop 集成，提供统一... 该项目将根据您的需要在本地启动 Hadoop，然后在运行您的 MapReduce 代码后将其关闭。
停止正在运行中的MapReduce任务
新生代农民工Steven
01-03 1412
如何停止正在运行中的MapReduce任务 找到任务的id , 如上图所示 , 新开一个连接窗口 # 旧版通用命令 hadoop job -list # 查看当前任务列表 hadoop job -kill job_id # 杀掉某一任务 # 上面的两个命令已经过时,被弃用了,但是还是能使用的,下面也给出新版命令 yarn application -list # 查看当前任务列表 yarn application -kill application_id # 杀掉某一任务 查看任务列表1 hado
强制关闭正在运行的MapReduce任务
清平乐的技术专栏
11-23 477
获取任务id，然后通过命令关闭： hadoop job -list hadoop job -kill job_id 新版本的hadoop可能要新的命令： yarn application -list yarn application -kill job_id
杀死mapreduce中正在执行的任务的命令
donyzh的博客
10-19 2741
两种方式： hadoop job -list 查看任务列表 hadoop job -kill $JobId 杀死某个任务 有时候会出现杀不死某个任务的情况，这是由于hadoop的新版本不支持上述命令，此时可用下边命令查看和杀死任务 yarn application -list 查看任务列表 yarn application -kill $ApplicationId 杀死某个任务...
MapReduce任务运行到running job卡住
Data & Analysis
01-31 689
一：如下异常： Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032 16/06/30 01:15:35 INFO input.FileInputFormat: Total input paths to process : 2 ...
如何通过程序kill掉后台运行shell脚本中的mapreduce和hive任务
胖头鱼的专栏
03-23 6269
现有的任务基本上都是在shell脚本中写入：hive -e "$sql" 或者 hadoop jar ...  通过这种形式提交到hadoop集群上，若想在脚本运行中kill掉任务，需要进行2步操作 1. kill掉当前shell脚本所在进程（及其启动的子进程） 2. 在hadoop集群上kill掉相应的mapreduce任务。 其中第一步可以通过用脚本实现，前提是获取该shell脚本的p
MapReduce-Engine-and-Distributed-File-System
05-18
MapReduce引擎和分布式文件系统 我们的MapReduce工具具有以下功能： 我们使用易于阅读和可编辑的配置文件，以便用户能够配置其实例，包括标识IP地址，端口号等。 我们使用高效的调度算法来调度地图并减少任务，...
hadoop、habse、yarn、MapReduce调优等总结的集合调优.docx
12-05
`mapred-site.xml`则是针对MapReduce任务的配置，涉及调度器、任务内存分配等。 HDFS调优主要包括以下几个方面： 1. **允许文件追加**：通过修改`hdfs-site.xml`中的配置，可以启用HDFS上的文件追加功能。 2. **...
第5章 Hadoop集群运行.pptx
11-28
在本章中，我们将深入探讨Hadoop集群的运行状态及其核心组件MapReduce的工作原理。 首先，了解Hadoop的运行状态至关重要，这涉及到监控Java进程以及Hadoop服务的状态。通过检查Java进程，我们可以得知Hadoop的各个...
杀掉僵尸 MapReduce 任务的两种方式
程序员小陶的大数据分享
11-18 1214
方法一 1.使用命令获取 job_id hadoop job -list 2. 杀掉进程 hadoop job -kill $JobId 方法二 使用 yarn 来管理； 1.通过 web 界面（8088端口）或命令，可以查看任务ID。 或者使用 yarn application -list 2.使用命令杀掉任务 yarn application -kill $ApplicationId ...
mapreduce异常分析：mr.MapredLocalTask: I/O error in redirector thread
邢为栋
06-08 915
分析数据时，发现一个表的数据有异常，排查发现2023-02-23和2023-05-23两个分区的数据在2023-05-27日被更新了。这张表的源表经常会更新历史数据，在hive中的更新方式是读取分区全部数据，进行数据更新，然后再重写分区数据。日志解读：在执行sql时，使用了mapjoin优化，启动了MapredLocalTask，上传mapfile成功后，出现redirector thread I/O错误。
Hadoop 无法使用mapreduce ---退出安全模式
tastyrekeke的博客
12-06 224
问题： 在hadoop启动后，使用mapreduce报错 原因： 上一次关闭虚拟机时，未使用 stop-dfs.sh 导致hadoop为了防止数据丢失而进入安全模式 解决方案： 在命令行输入： hadoop dfsadmin -safemode leave ...
通过MapReduce JobID 停止（kill）指定任务
wozipa的博客
05-09 9129
一、说明        有时候我们在提交任务以后，能够获取一个MapReduce任务的ID，一般为Job_**********_xxxx的组合，下面将介绍如何获取JobID，与通过其他程序与JOBID停止一个正在运行的任务。 二、流程 1、提交任务并获取ID值。 通常情况下，我们进行远程提交时，都会使用job.waitForCompletion(true);函数去提交一个任务并且在ecli
Hadoop作业提交与停止命令
热门推荐
lqf的专栏
03-06 1万+
1. 作业提交命令 jarhadoop jar <jar> [mainClass] args.. 表示 jar 包名 mainClass 表示 main class 名称，可以不必输入而由 jar 命名自动搜索 args 是 main class 输入参数 bin/hadoop jar hadoop-examples-1.0.0.jar wordcount /text/input /test
杀死killHadoop Mapreduce job程序
程裕强的专栏
05-25 2646
（1）首先查找到僵死的JobID值 （2）hadoop job -kill $Job_ID [root@bigdata01-test sqoop-1.4.7]# hadoop job -kill job_1526097883376_0059 DEPRECATED: Use of this script to execute mapred command is deprecated. Ins...
Java用mapreduce 处理海量行情并转发kafka
最新发布
06-13
Java使用MapReduce处理海量行情数据并转发到Kafka可以采用以下步骤： 1. 编写Mapper类和Reducer类：Mapper类将海量行情数据转换成键值对，其中键为要转发的Kafka主题名称，值为行情数据；Reducer类将相同主题名称的行情数据进行合并，并将结果输出到Kafka。 2. 配置Hadoop集群：配置Hadoop集群，包括HDFS和YARN等组件。将需要处理的海量行情数据上传到HDFS中。 3. 打包Mapper类和Reducer类：将Mapper类和Reducer类打包成jar包。 4. 运行MapReduce任务：使用hadoop命令运行MapReduce任务，将输入文件指定为HDFS中的海量行情数据，将输出文件指定为Kafka主题。 5. 监听Kafka主题：启动一个Kafka消息监听器，监听指定的Kafka主题，并将消息转发给目标消费者。 下面是一个简单的实现示例： ``` public class QuoteMapper extends Mapper<LongWritable, Text, Text, Text> { private Text topic = new Text(); private Text quote = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); Quote quote = parseQuote(line); // 解析行情数据 topic.set(quote.getTopic()); quote.setTimestamp(System.currentTimeMillis()); this.quote.set(JSON.toJSONString(quote)); // 转换成JSON格式 context.write(topic, this.quote); } } public class QuoteReducer extends Reducer<Text, Text, Text, Text> { private Producer<String, String> producer; public void setup(Context context) throws IOException, InterruptedException { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); // Kafka的Broker地址 props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); this.producer = new KafkaProducer<>(props); } public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { for (Text quote : values) { ProducerRecord<String, String> record = new ProducerRecord<>(key.toString(), quote.toString()); this.producer.send(record); // 发送消息到Kafka } } public void cleanup(Context context) throws IOException, InterruptedException { this.producer.close(); } } ``` 上述代码中，QuoteMapper类将海量行情数据转换成键值对，其中键为要转发的Kafka主题名称，值为行情数据。QuoteReducer类将相同主题名称的行情数据进行合并，并将结果输出到Kafka。在Reducer类的setup()方法中创建Kafka生产者，将消息发送到Kafka中。在Reducer类的cleanup()方法中关闭Kafka生产者。运行MapReduce任务时，使用hadoop命令指定输入文件和输出Kafka主题： ``` hadoop jar quote-processing.jar QuoteProcessing /input/quotes /output/quotes kafka://localhost:9092 ``` 上述命令将HDFS中的/input/quotes文件作为输入，将结果输出到Kafka主题/quotes中。在监听/quotes主题的Kafka消费者中可以获取到转发后的行情数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值