spark on yarn执行完hsql命令 yarn队列一直没有释放资源

最新推荐文章于 2023-02-18 08:15:23 发布
最新推荐文章于 2023-02-18 08:15:23 发布
阅读量2.6k 收藏 4
点赞数
分类专栏： 个人学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31454379/article/details/107621838
版权

现象描述

这个任务已经执行完毕，但是任务状态一致是running导致队列资源没有释放
由于是测试服务器，队列资源较少，导致后面任务阻塞。

原因：spark on hive本质是spark-shell.sh，spark-shell.sh会一直占用进程，这样后面提交的hive on spark任务就不需要重复上传spark依赖，加速任务执行速度

解决方法：

  1. 如果是hive命令行客户端提交的job，退出hive命令行，资源自动释放
  2. 如果是脚本提交的job，最好在脚本末尾加入 !quit 主动释放资源
    在这里插入图片描述
栗子_yangxw
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备工作 安装启动Hadoop(需要使用HDFS和YARN，已经ok) 安装单机版Spark(已经ok) 注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
spark初始化源码阅读sparkonyarn的client和cluster区别
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
Hive小问题记录-＞卡在提交JOB，无map与reduce任务出现-＞释放资源解决
啊帅和和的博客
01-12 1134
今天在运行一个hivesql的时候，整体的运行总是卡在这个阶段，没有map任务出现，也没有reduce任务出现，但是在不涉及mapreduce任务的sql都可以查询出来结果 整体也只有这一个application在运行，其余的运行任务，也都通过“yarn application -kill application_id”给终结了 整体的环境也没有任何问题 后来通过命令发现是整体的datanode磁盘使用过多，也有很多的垃圾文件没有来得及回收，这里删除一部分hdfs的文件，就可以正常运行了。 感谢阅读，
hive on spark 资源占用不释放
叁木大数据
04-24 3404
hive on spark 资源占用不释放一、环境描述二、描述2.2 问题2.3 现象三、解决3.1 过程3.2 解决 一、环境描述 CDH: 5.14.2 Spark:1.6.0 (hive on spark没使用2.0+版本) Hue:3.9.0 hive:1.1.0 二、描述 2.2 问题 由于公司查询使用的hue,hue上有impala & hive 。在做大数据量测试和查询的时候impala 会出现内存不足的情况，所以测试人员&分析师偶尔还是会使用hive（底层是spark ） 去
hive on spark 任务的状态一直是running,并且占用的内存资源也不能够释放
人的大脑是cpu，而不是硬盘
07-16 4247
问题描述：hive配置成spark引擎，提交任务到yarn，执行SQL 能够正确的返回结果，但是执行完毕，任务的状态一直是running，并且占用的内存资源也不能够释放 问题分析：spark on hive本质是spark-shell.sh，spark-shell.sh会一直占用进程，这样后面提交的hive on spark任务就不需要重复上传spark依赖，加速任务执行速度 解决思路：如需执行mapreduce或者其他类型任务，切换其他队列或者强制结束spark进程 解决步骤： hive]$ ya
hive on spark 时，executor和driver的内存设置，yarn的资源设置
m0_37759590的博客
02-18 1915
hive on spark 时，executor和driver的内存设置，yarn的资源设置。
spark写s3出现task结束而yarn管理UI不终止的情形
u014763678的博客
09-16 717
问题： 最近项目需要使用spark往s3写数据，在编写好代码后通过yarn cluster模式运行spark任务，在UI上监控程序运行情况，发现UI上task都结束后，spark仍然处于running状态，持续了十几分钟后才终止。 起初以为是编写的多线程没有正确shutdown问题，或者是由于s3的check机制导致的。最后发现都不是这两种原因导致的。 导致问题的原因： 导致问题的原因是s3中的文件重命名操作是由复制操作加上删除操作组成的，等等，这跟s3文件重命名有什么关系？？ 哈哈，...
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
在Linux将MapReduce程序提交给YARN执行
周星星
11-20 455
什么是YARN，有什么作用 YARN（分布式运算资源调度系统） 我们知道我们的分布式文件存储系统HDFS，是将文件进行切块（默认128M）、备份（3份）分布式的存储在集群的各个机器上的； 海量的数据需要运算 ，那如果我们写的java程序，只运行在一个机器上进行处理这些数据块的话，明显是不可取的，所以我们得让程序分布式 并行的在各个机器上（mapreduce）运算； 而这些程序运行具体使用哪一台的运算资源（CPU、内存、IO、网络等），使用多少，很显然，人为分配这些资源，是很难做到公平和合理的。
关于Hive和Spark on yarn的调度总结
程研板的博客
05-22 725
目录参考文章 参考文章 Hive Driver 原理 yarn-cluster和yarn-client提交模式的区别 Spark Thrift Server 架构和原理介绍 理解Spark SQL(一）—— CLI和ThriftServer
hive on spark通过YARN-client提交任务不成功
METON的博客
09-11 3463
在Hive on spark中  设置spark.master 为 yarn-client ， 提交HiveQL任务到yarn上执行，发现任务无法执行 输出一下错误： 可以看到 Hive on Spark 可以submit查询，但是任务无法执行。 因为我们设置的yarn-client 模式提交，所以在hive执行的输出log日志中查找到相应语句输出的log信息： 发现yar
Hive提交到yarn的任务一直在running问题排查
热门推荐
u013332124的专栏
04-13 3万+
一、问题描述 最近有数据平台的同学反馈yarn上面有一些任务跑了很久没有结束，状态一直处于running中。去Spark HistoryServer查看任务详情也没看到相关运行记录，需要人为手动kill任务才会停止并释放资源。 二、问题排查 从Spark HistoryServer可以看出，任务的Driver虽然启动了，但是并未执行job，并且一直阻塞在那没有退出。从yarn的角度来看，这个...
spark on yarn提交任务后总是accepted以及通过yarn关闭application
微电子学与固体电子学-俞驰
05-01 5095
打开链接: http://Desktop:8088/proxy/application_1588324196554_0005/ 点击图中 Queue后面的default 会看到队列100% 解决方案[1]: 检查内存是否没释放 yarn application -list yarn application -kill application_1437456051228_...
Spark on Yarn遇到的问题及解决思路
weixin_34034670的博客
10-09 531
原文：http://www.aboutyun.com/thread-9425-1-1.html 问题导读1.Connection Refused可能原因是什么？2.如何判断内存溢出，该如何解决？扩展：3.你认为/etc/hosts配置错误，会对集群有什么影响？1 概述     Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spa...
Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法
Laurence的技术博客
01-30 6347
Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法 问题 有这样一个问题是很常见的：如果我们的Hive使用默认使用Tez作为执行引擎，当我们使用IDE通过Hive JDBC连接时，会出现在一个很“有趣”的想象：即如果我们不断开这个JDBC连接，则在Yarn上会持续有有一个Tez的AM容器持续存在，只有当端开JDBC连接时，这个容器才会被释放。关于Tez在Yarn的资源布局，可参考这篇...
Hive on Spark参数调优小结
LittleMagic's Blog
02-27 2763
前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。 Executor参数 spark.executor.cores...
Spark On Yarn执行流程
最新发布
10-17
Spark On Yarn执行流程大致如下： 1. 用户提交Spark应用程序到Yarn集群 2. Yarn ResourceManager接收到应用程序请求后，为该应用程序分配一个ApplicationMaster（AM）。 3. AM向ResourceManager申请资源，包括CPU、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值