杀掉YARN上面的SparkSubmit任务

最新推荐文章于 2024-05-10 17:48:54 发布
最新推荐文章于 2024-05-10 17:48:54 发布
阅读量2.5w 收藏 2
点赞数
分类专栏： spark yarn linux 文章标签： yarn spark linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/power0405hf/article/details/50457960
版权
spark 同时被 3 个专栏收录
34 篇文章 0 订阅
订阅专栏
linux
16 篇文章 0 订阅
订阅专栏
yarn
3 篇文章 0 订阅
订阅专栏 
yarn application -kill appid  //appid不需要引号

就可以结束YARN上面跑的出现异常无法关闭的任务了。
：）

但是这样会导致端口在一段时间（24小时）内被占用

netstat -apn | grep 4040
[root@manage02 ~]# netstat -apn |grep 4040
tcp   0   0 :::4040     :::*         LISTEN      17347/java
tcp   1   0 ::ffff:10.10.10.10:50436    ::ffff:10.10.10.16:44040    CLOSE_WAIT  24498/java
unix  2  [ ]    DGRAM    19169  4040/sendmail: Queu

kill -9 17347  #杀掉进程
power0405hf
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark的Yarn模式
01-20
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.12-3.0.0-preview2.jar 100 ``` 或者启动Spark Shell： ```bash bin/spark-...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
使用`spark-submit`命令提交任务到YARN，需要提供JAR路径、主类名、YARN相关参数等。 7. **YARN资源管理**： YARN通过Container来分配资源，每个Container包含一定的内存和CPU核心。Spark作业会根据需求申请和释放...
杀掉yarn spark作业
Rory的博客
07-09 667
yarn application -kill application_id
spark on yarn模式：yarn命令杀除当前的application
weixin_34377065的博客
11-11 179
在hadoop/bin目录下有yarn命令 yarn application -kill <applicationId>  
RST文档技巧汇总
最新发布
NSJim的博客
05-10 1056
RST全称ReStructuredText，是一种使用简单标记语法编写文档的文本文件格式。本文介绍转换工具和简洁语法，简洁语法包含注释、空行、标题、样式、链接、图片、列表、表格、代码块、文档内引用、引用rst、等等。
kill不掉 spark-submit
微电子学与固体电子学-俞驰
05-01 2127
kill -9以及pkill命令都不行， 目前能想到的就是注销后再登录 为了让spark-submit在提交任务后自己退出，在$SPARK_HOME/conf/spark-defaults.conf中加入: spark.yarn.submit.waitAppCompletion = false ...
spark上如何终止目前正在运行的任务
qq_45622250的博客
01-03 1216
命令提交任务，并通过 Spark Web UI 监控任务的执行状态。如果想要终止正在运行的 Spark 任务，可以在 Spark Web UI 中找到该任务，并点击“Kill”按钮来停止该任务的执行。是 Spark 应用程序在 YARN 上的应用 ID，可以在 Spark Web UI 或者命令行中使用。停止正在运行的 Spark 应用程序。1：在 Spark 中，可以使用。
linux下kill -9 不能强制杀掉spark-submit进程
intersting的博客
11-25 4802
问题： 在python编辑器中运行spark程序时，忘记加spark.stop()停止spark，所以每提交一次程序就多一个spark-submit进程，而且sparkUI的端口号还被占用了。这时候用 kill -9 spark-submit_pid 无法杀死spark-submit进程 原因：  kill -9发送SIGKILL信号将其终止，但是以下两种情况不起作用： a、该进程处...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
3. **配置yarn-site.xml**：为了防止YARN因内存限制而终止Spark任务，我们需要在`yarn-site.xml`中取消内存检查。这可以通过设置两个属性`yarn.nodemanager.pmem-check-enabled`和`yarn.nodemanager.vmem-check-...
windows中使用yarn-cluster模式提交spark任务
12-11
windows中使用yarn-cluster模式提交spark任务，百度找不着的啦，看我这里。另外spark的版本要使用正确哦 更简单的方式参考： https://blog.csdn.net/u013314600/article/details/96313579
java提交spark任务到yarn平台的配置讲解共9页
11-21
2. 提交任务：在命令行中，使用`spark-submit`工具提交Spark任务到YARN集群： ```bash $ spark-submit \ --class com.example.SubmitToYarn \ --master yarn \ --deploy-mode cluster \ --jars /path/to/your/...
定时 关闭Spark-Submit ,Kafka
dymkkj的专栏
07-12 1247
 一.spark-submitvim stopSparksubmit.sh#! /bin/basha=0while  true do#SparkSubmitid=`/usr/jdk8/bin/jps  | /bin/grep -v grep | /bin/grep SparkSubmit | /usr/bin/cut  -d " " -f 1`SparkSubmitid=`/usr/jdk8/bi...
YARN批量杀死任务
AnameJL的博客
07-29 2253
yarn批量杀死任务
spark-yarn 任务提交详解
z7one
09-14 649
Spark支持3种集群管理器（Cluster Manager） 分别为： Standalone：独立模式，Spark 原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用 Standalone 可以很方便地搭建一个集群； Hadoop YARN：统一的资源管理机制，在上面可以运行多套计算框架，如 MR、Storm等。根据 Driver 在集群中的位置不同，分为 yarn client 和 yarn cluster； Apache Mesos：一个强大的分布
SparkSubmit 进程无法使用kill -9 杀死的解决办法
LastYHM的博客
09-21 2419
在使用spark时,出现了SparkSubmit进程杀死的问题,原因是进程存在父进程. 解决办法,杀死对应的父进程: 此时输入kill -9 2284,之后: 可以看到SparkSubmit 已经被杀死
Spark001---yarn批量kill任务
此心安处是吾乡
10-15 2361
— 删除所有ACCEPTED任务 for i in yarn application -list | grep -w ACCEPTED | awk '{print $1}' | grep application_; do yarn application -kill $i; done — 删除所有RUNNING任务 for i in yarn application -list | grep -w RUNNING | awk '{print $1}' | grep application_; do y
使用代码管理 spark作业: submit, kill
eyeofeagle的博客
01-14 1822
1, spark job提交 import org.apache.spark.launcher.SparkLauncher; import java.io.IOException; import java.util.HashMap; public class Submit_launcher { public static void main(String[] args) throw...
如何kill掉Ubuntu的僵死进程
大头皮鞋的博客
05-18 2937
做spark应用时，每提交一个应用就会多出sparksubmit进程 $ jps 3552 SparkSubmit 2164 SparkSubmit 3223 SparkSubmit 5358 Jps 当我们想kill掉这个进程时， $ kill -9 3552 $ kill -9 2164 $ kill -9 3223 再次用jps查看进程，发现SparkSubmit进程杀不掉 ...
yarn -kill杀掉yarn任务
09-01
你可以使用以下命令来杀死Yarn任务： ``` yarn application -kill ``` 其中，`<application_id>` 是你要杀死的Yarn任务的应用程序ID。你可以通过运行 `yarn application -list` 来获取所有正在运行的Yarn任务的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值