解决用海豚调度时,yarn处理大量并发任务很慢的问题

VIP文章 已于 2022-04-22 10:13:43 修改
阅读量2.8k 收藏
点赞数
文章标签： ambari hive hadoop yarn TEZ
于 2022-04-22 09:53:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43382750/article/details/124338031
版权

公司用的海豚调度,工作流里同时运行了二十多个插入sql,yarn只有两个任务同时运行,并且一直在卡这,到获取tez session这不动

,检查了下tez的超时时间,600s改成了10s,
在这里插入图片描述

同时在ambari上给yarn增加了一个队列hive,各分50
在这里插入图片描述

在这里插入图片描述
添加了并刷新保存
我添加了这段无关代码,csdn智障机器人就不会说我质量不行

BATCH/批处理命令
1
2
3
@echo off
echo Hello, World!
pause
易语言
1
信息框（“Hello, world!”
最低0.47元/天 解锁文章
Wingsdream
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
分布式资源调度——YARN框架
03-01
我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：分布式资源调度——YARN框架可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多...
DolphinSchedule基于事件驱动的高性能并发编程
qq_26777585的博客
02-11 1088
本文深入浅出的讲解了DolphinSchedule基于事件驱动的高性能并发任务处理能力的设计。
Hadoop Yarn延迟调度分析（Delay Schedulering）
weixin_35792948的博客
08-09 1064
大规模集群中，对数据本地化（data loality）的优化，可以减少很多网络IO，变成本地的磁盘IO，而磁盘的IO比网络的IO快很多，这对降低集群的IO负载以及增加集群的吞吐量是很有益处的，所以我对Yarn中的延迟调度进行分析，尝试提高作业中任务所在容器的调度本地化命中率。 我们从自带的延迟调度的单元测试入手进行分析： @Test public void testDelaySchedul...
海豚调度 dolphinscheduler-2.0.5 星环驱动包踩坑（二）worker服务正常、zk注册正常，心跳时间不更新，也不执行任务，任务一直处于执行中状态
02-18 1130
通过jps命令、包括页面中心查看worker服务注册情况，都没有发现问题，接触调度这么久，如果报错的话，worker服务根本不会启动成功，简单看了下最新日志，也没有异常，奇了怪了！之前分享过海豚调度2.0.5连接星环库使用记录，后来说存储过程又出现了超时的情况，原因是因为调度星环驱动包和生产星环库驱动包不一致，运维人员对调度驱动包进行了升级（星环驱动包有内嵌了很多常用jar包，冲突真是家常便饭，目前通过删除jar包中的类或整个目录可以解决。后来排查其它问题时，我发现有两台服务器，上面的服务根本没启动成功。
海豚调度器（DophineScheduler）如何杀掉僵尸任务？
石榴姐yyds
06-20 1908
海豚调度器（DophineScheduler）如何杀掉僵尸任务
Hadoop Yarn详解
sysocc的博客
05-23 301
YARN通过两类长期运行的守护进程提供自己的核心服务： resource manager——管理集群上资源使用的资源管理器 node manager——运行在集群中所有节点上，且能够启动和监控容器（container） YARN上如何运行一个应用： 客户端联系资源管理器（ResourceManager），要求它运行一个Application Master进程（上图步骤1） ResourceManager找到一个能够在容器（Container）中启动application master的节点
Apache DolphinScheduler（海豚调度系统）介绍与环境部署
最新发布
匠人精神，持之以恒！
06-18 4963
Apache DolphinScheduler（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。
任务调度器-DolphinScheduler调优-并发设置
白杨Shayne的博客
06-01 1333
这是两个非常有用的参数，通过控制并发的任务和流程，从而控制同一时间需要的资源，避免任务一下全部拉起来，导致资源耗尽使进程退出；设置了并发后，等于是把资源使用的峰值给抹平了，master-server和worker-server没有再出现进程退出和内存分配失败的异常。
大数据平台构建：YARN的任务调度.pptx
06-21
现实生产环境当中资源往往是非常紧张的，尤其是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源，Yarn提供了多种调度器和可配置的策略供我们选择，来解决这一系列复杂的应用场景。...
充分了解yarn的三种调度器
03-22
多维度介绍yarn三种调度器
YARN 基础架构，工作机制，任务调度器
03-31
YARN 基础架构，工作机制，任务调度器
yarn入门——yarn的架构及作业调度
02-24
mapReduce存在问题：JobTracker单点故障JobTracker承受的访问压力大，影响系统扩展不支持MapReduce之外的计算框架，比如Storm,spark,flink是一种新的Hadoop资源管理器，它是一个通用资源管理系统，YARN的基本思想是...
分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控
04-14
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。
yarn调度流程.docx
08-11
yarn调度流程.docx
Big Whale任务调度系统-其他
06-12
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG执行调度和流处理任务的状态监测调度，并具有重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发，...
大数据集群yarn任务延迟问题调查
qingchen191的专栏
12-13 1545
大数据集群yarn任务延迟竟然是因为机器的光口有问题导致的。
datax优化之reader提速-详细经历
热门推荐
cclovezbf的博客
12-09 1万+
首先说明下，个人认为reader提速最重要的一点就是切分任务即split这块 背景：一直用datax从oracle到hive数据，一般是1w-2w条/s也凑合用了，但是最近导DM_F_REV_FULL_LIFE_CYCLE_IMS表 该表根据月在hive分区，每个分区数据在200w-1000w左右，数据量也不算特别大但是速度只有4M/s 速度不到7000条/s, { "job":{ "setting":{ "speed":{ "c
hive集群tez引擎执行任务卡住
weixin_43923463的博客
03-31 2772
更换tez引擎后，如果执行任务卡住，修改调节容量调度器的资源调度策略，修改以下配置信息 cd /opt/module/hadoop-3.1.3/etc/hadoop/ vim tez-site.xml <!--容器给AM分配的资源--> <property> <name>tez.am.resource.memory.mb</name> <value>1024</value> </proper...
解决Yarn慢的问题
weixin_44772835的博客
10-15 2414
如果觉得安装速度慢，安装源和原来 npm 是一样的，可以通用，修改方法如下： 在国内不管使用npm还是yarn，安装速度都很慢。因为镜像源地址在国外，有qiang的存在，导致速度很慢，这里换上淘宝的镜像源，即可加速安装速度这里示例使用的是yarn，使用npm的用户将yarn改为npm即可。查看当前设置的镜像源地址yarn ...
flink的yarn模式的任务调度流程
03-12
可以回答这个问题。在Flink的Yarn模式下，任务调度流程如下： 1. 用户提交Flink应用程序到Yarn集群。 2. Yarn ResourceManager接收到应用程序请求后，会为该应用程序分配一个ApplicationMaster。 3. ApplicationMaster启动后，会向ResourceManager申请资源，包括CPU、内存等。 4. ResourceManager根据资源的可用情况，为ApplicationMaster分配资源。 5. ApplicationMaster启动后，会向ResourceManager申请TaskManager资源，用于执行Flink任务。 6. ResourceManager根据资源的可用情况，为ApplicationMaster分配TaskManager资源。 7. ApplicationMaster将Flink任务提交到TaskManager中执行。 8. TaskManager执行Flink任务，并将结果返回给ApplicationMaster。 9. ApplicationMaster将结果返回给用户。 以上就是Flink的Yarn模式下的任务调度流程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值