异构分布式环境下，容器调度与任务调度的区别

已于 2023-03-25 11:00:37 修改
阅读量200 收藏
点赞数 1
分类专栏： 文献阅读 文章标签： 分布式 docker kubernetes 微服务 容器
于 2023-03-24 18:45:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijie6677/article/details/129756502
版权

◆ 本文中，称容器调度为KC调度，任务调度为HD调度。

◆ KC调度：基于K8s容器的调度（the Kubernetes container scheduling）

◆HD调度：异构分布式环境下的延迟敏感型调度（the delay-sensitive scheduling in heterogeneous distributed environments）

◆ 表1 KC调度与HD调度的比较

项目

KC调度

HD调度

考虑的

调度

对象

工作节点拥有的

资源的数量

（如CPU、内存

和网络）

计算实例的容量（如CPU或GPU）

调度

目标

处理过程和

网络传输延迟

任务执行时间

调度

方法

①基于标签的，

②基于资源的，

③基于延迟的

有向无环图（DAG）或其变体

lijie6677
关注
专栏目录
异构分布式环境下多DAG工作流的混合调度策略.pdf
08-10
异构分布式环境下多DAG工作流的混合调度策略 摘要： 本文提出了一种混合调度策略，用于解决异构分布式环境下的多DAG工作流问题。该策略能够根据不同的DAG工作流和优先级，动态地分配资源并进行调度，以提高系统的...
异构分布式系统的负载均衡调度算法.pdf
08-10
异构分布式系统是一种由不同类型的硬件和软件资源构成的分布式计算环境。在这样的系统中，节点的处理能力、存储容量、操作系统等方面存在异质性，导致资源分配和任务调度成为了一个复杂的问题。负载均衡是分布式系统...
Docker之Docker Swarm调度容器
皮皮的博客
07-31 1812
之前我们写了好多篇关于docker的文章，但是环境都是单机的，也就是说只有一台docker引擎。 接下来这篇文章我们说一下docker集群及管理。 Docker官方为了解决多容器管理问题，推出了Docker Swarm工具，也是我们今天要说的内容。 Swarm简单介绍： Swarm首个版本在2014年12月初发布，2016年2月对架构进行重新设计，推出V2版本。 支持原生Docker API。 采用主从结构，通过Raft协议在多个管理节点中实现共识。 Swarm架构： Swarm架构整体分为管理节点（M
python分布式任务调度_分布式定时任务调度框架选型
weixin_39953578的博客
12-03 799
分布式定时任务调度框架选型背景业务场景定期执行任务：如每天0点做资源稽查；需求和痛点集群部署服务时，如何确保任务不被重复执行？---最急迫如何监控、告警等；高可用、无单点故障；优秀的并行处理能力、分片能力；自研 or 开源任何工具的使用都要结合自身的业务场景，脱落业务场景谈技术选型就是耍流氓。考虑私有云场景业务量一般，高并发场景很少遇到，同一时间也不会有超大量定时任务同时需要执行，所以考虑自研也未...
什么是分布式、什么是分布式调度、分布式调度要实现的目标
郝开的博客
11-10 977
软件架构的发展过程，单体架构→单体集群架构→分布式架构→微服务架构。分布式架构就是将单体结构拆分为若干服务，服务之间通过网络交互来完成用户的业务处理，以广泛的电商来说，可以将一个单体架构拆分为下面的分布式架构。分布性：每个部分都可以独立部署，服务之间交互通过网络进行通信，比如上图的订单服务和商品服务伸缩性：每个部分都可以集群方式部署，并可针对部分结点进行硬件及软件扩容，具有一定的伸缩能力高可用：每个部分都可以集群拆分，保证高可用。
异构算力的调度策略解析与实现
异构算力老群群（在读985计算机博士生）的技术博客
07-30 1029
异构算力调度是一种针对多类型计算资源的调度策略，通过合理分配任务到不同类型的处理器上，以优化计算性能、资源利用率和功耗。在传统的计算环境中，CPU是主要的处理单元，但随着图形处理、深度学习等领域的快速发展，GPU、FPGA等专用处理器逐渐崭露头角，形成了异构计算环境。
异构分布式系统中一种新的基于无序遗传的任务调度算法(Matlab代码实现)
weixin_46039719的博客
02-21 342
在本文中，我们扩展了一种基于元启发式混合遗传的任务调度算法，以最小化用户应用程序的总执行时间（makespan）。在这方面，我们利用其他启发式方法，如异构最早完成时间（HEFT）方法，通过应用新的洗牌算子来生成智能初始种群，这将在搜索空间中探索可行和有前途的个体。为了取得具体的结果，我们进行了几个场景。与其他现有方法（如HEFT版本和QGARAR）相比，我们提出的算法在平均完工时间方面优于其他现有方法。此外，通常以有向无环图（DAG）的形式呈现的用户应用程序必须在这种类型的并行处理系统上执行。
基于遗传算法的新的异构分布式系统任务调度算法研究（Matlab代码实现）
weixin_46039719的博客
05-20 930
文献来源：摘要分布式系统，如网格计算和云计算向全球用户提供 Web 服务。服务提供者最关心的问题之一是如何处理总拥有成本（TCO）。TCO 的大部分与由于资源管理不当导致的能耗有关。任务调度模块作为一个关键组件，对用户响应时间和底层资源利用率都有巨大影响。这种异构分布式系统通过不同速度和架构的不同处理器互连。此外，用户应用通常以有向无环图（DAG）的形式呈现，必须在这种类型的并行处理系统上执行。由于在这种复杂系统中的任务调度属于 NP 难题，现有的启发式方法已不再有效。
高级分布式系统-第9讲 实时调度--静态调度与动态调度
weixin_50917576的博客
01-14 1564
在静态调度中，任务组的调度表是通过离线计算得出的。在调度表的生成过程中，必须把所有任务的资源、优先级和同步要求考虑进去，并且确保所有的截止时间要求。这个调度表指明了各个任务的运行起始时间 ，一旦生成就不再变化。在系统运行期间 ，任务调度器只需要根据这张表在指定的时刻启动相应的任务 。
异构数据同步 datax （3） xxl-job 分布式任务调度
jsjqjy的博客
08-20 431
datax 需要手动执行 python 脚本来满足需求，可通过XXL-JOB 进行任务调度实现，满足自动化数据同步需求。
优化问题|文化基因算法求解分布式柔性作业车间调度问题
eternal1995的博客
08-20 666
优化问题|文化基因算法求解分布式柔性作业车间调度问题
硬件成本缩减的异构分布式嵌入式系统调度算法.pdf
08-08
首先，文中针对异构分布式嵌入式系统中的任务调度问题进行了深入的探讨。异构分布式嵌入式系统相较于传统系统，拥有更高的功能并行性，且任务间存在复杂的数据依赖性和优先级约束。这些特点使得异构嵌入式体系结构...
异构分布式计算环境下一种新型表调度算法.pdf
08-08
总的来说，这篇文章提出了一种在异构分布式计算环境下，针对静态任务调度问题的新型表调度算法。该算法通过优化处理器的分配策略，能够有效提高调度效率，为解决大规模复杂多约束任务调度问题提供了新的思路。这对于...
分布式系统下的启发式任务调度算法.pdf
08-09
该算法可以解决任务调度的NP难问题，并且可以在异构分布式环境下实现高效的任务调度。 文章还讨论了分布式系统下的任务调度问题，包括任务调度的挑战性、任务调度算法的分类、DAG模型的应用等。同时，文章还提供了...
分布式----Ceph部署（上）
最新发布
lihui12356的博客
11-11 663
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。
LVDS高速背板总线：打造分布式I/O高效数据传输新境界
Mindtech_link的博客
11-11 230
在当今的工业自动化控制系统中，数据传输的速度和可靠性成为了决定系统性能的关键因素。MR30分布式I/O模块通过搭配LVDS（Low-Voltage Differential Signaling，低压差分信号）高速背板总线，是满足这一需求的完美解决方案。本文将为您详细介绍这一组合如何以15M的总线带宽，引领工业自动化领域的数据传输新潮流。
分布式-锁
ALLWE的博客
11-11 252
在多线程环境下，针对一些共享资源往往会出现线程安全问题，需要加锁校准程序执行过程。
go语言 分布式一致
weixin_51147313的博客
11-11 252
至此，HTTPPool 既具备了提供 HTTP 服务的能力，也具备了根据具体的 key，创建 HTTP 客户端从远程节点获取缓存值的能力。方法用于从对应 group 查找缓存值。PeerGetter 就对应于上述流程中的 HTTP 客户端。方法用于根据传入的 key 选择相应节点 PeerGetter。在这里，抽象出 2 个接口，PeerPicker 的。第二步，为HTTPPool添加节点选择的功能。第三步，实现PeerPicker接口。接口 PeerGetter 的。
为什么分布式光伏规模是6MW为界点
acrelHN的博客
11-09 926
安科瑞 华楠近日，能源局发布定义分布式光伏6MW及以上的光伏电站必须自发自用，自行消纳。多省能源局规定大于6MW的电站必须按集中式管理，另外大于6MW（包含）要省级审批，小于则由市级审批，10kV线路单回接入容量也是6MW，很多电厂发电机装机容量也是以6MW为界点。这是为什么呢？
异构环境下MapReduce任务调度的优化改进策略
随着大数据处理的广泛应用，异构环境（包含不同性能和资源的计算节点）下的MapReduce任务调度面临挑战，如数据迁移频繁和系统资源分配不均衡。MapReduce是一种分布式计算模型，但在处理异构环境时，传统的静态调度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lijie6677

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值