算力调度关键问题和实施路径研究

目录

0 引言

1 我国算力调度的发展探索

1.1 算力调度的部署要求

1.2 算力网络发展探索

2 算力调度体系架构

图1

3 算力调度关键技术

3.1 算力感知

3.2 算力度量

3.3 算力路由

3.4 算网编排

3.5 算力交易

4 算力调度实施路径

4.1 整合多元异构资源

4.2 搭建算力调度平台

4.3 建立标准规范体系

5 结束语


摘要

随着“东数西算”工程的纵深推进,如何提升跨区域算力调度水平、提供高质量算力服务已成为算力领域的重要研究方向。着眼于算力网络中的算力调度问题,重点阐述了算力调度的体系架构及关键技术,并分别从整合算力资源、搭建调度平台、建立标准规范体系三个方面介绍了实现算力调度的整体实施路径。

关键词: 算力调度; 算力网络; 算网编排; 算力交易

0 引言

随着5G、人工智能、大数据等新技术、新业态、新平台的蓬勃兴起,自动驾驶、人脸识别、智能制造等各类新兴业务对算力提出了灵活便捷、按需匹配的新要求。另外,“东数西算工程在开启我国算力资源全国范围统筹布局新篇章的同时也提出了实现算力资源跨区域调度的核心挑战。算力调度通过智能分配策略实现算力的灵活流动,能够解决我国算力需求与资源分布不均的矛盾,快速满足上层应用多样化的算力需求,助推我国数字经济进入普惠共享的新阶段。

1 我国算力调度的发展探索

1.1 算力调度的部署要求

我国高度重视算力产业发展,为优化算力资源供给,提升整体算力服务水平,已发布多项有关算力调度的政策文件。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》明确指出,加快构建全国一体化大数据中心体系,强化算力统筹智能调度[1]。《新型数据中心发展三年行动计划(2021—2023)》明确了要形成布局合理、技术先进、绿色低碳、算力规模与数字经济增长相适应的新型数据中心发展格局,同时指出要完善公共算力资源供给,优化算力服务体系,提升算力服务调度能力[2]。《十四五信息通信行业发展规划》指出,要提高网络资源智能化调度能力和资源利用效能,并首次明确提出了加强跨地域、跨行业统筹协调的重点任务[3]20222,国家全面启动东数西算工程,建设京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏八大全国一体化算力网络国家枢纽节点,同时规划了十个国家数据中心集群[4]。打通东西部算力资源、实现东西部算力协同,离不开区域间的灵活调度。

1.2 算力网络发展探索

在国家政策与产业需求的双重驱动下,作为算力网络建设的中坚力量,国内三大运营商纷纷加大对算力网络相关的技术研发投入和发展路径探索。中国移动通信集团有限公司在2018年就开始了关于算力感知网络(Computing-Aware Networking,CAN)的研究

  • 7
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
网格计算是网络计算、分布式计算以及高性能计算领域中研究的重点和必然的 发展趋势,而网格工作流是网格计算中的一个新兴而重要的研究领域。随着网格研 究的深入和网格基础设施的发展,网格应用规模越来越大,往往需要大量资源的共 享和协同计算,而且应用的逻辑流程也越来越复杂,涉及多个具有时间和空间约束 的步骤、资源和过程。网格工作流能方便地构建、执行、管理和监控网格应用,使 网格应用自动实施并高效执行。网格的动态性、分布性、异构性和自治性导致传统 工作流的方法和技术不能有效地处理网格环境中的若干问题,因此,需要针对网格 和网格应用自身的特点重新研究面向复杂网格计算应用的网格工作流处理技术,为 更好的实现网格环境下的应用提供先进的技术手段和解决方案。 工作流模型是对工作流程的抽象表示,是进行工作流管理的基础。通过提出层 次化的建模方法,使其贯穿网格工作流的过程模型和资源模型,适应网格动态变化 特点和复杂应用处理需求。网格工作流过程模型以扩展的有向无环图作为表达手段, 采用有向图建模方法将网格应用直观地描述成网格工作流,具有较强的通用性和可 理解性;模型的形式化描述弥补了有向图缺乏形式化描述和精确定义的不足。在面 向服务的网格工作流资源模型中,层次化的资源和资源访问机制实现了过程模型中 网格工作流和网格资源的分离,执行时任务和资源的动态映射则增强了网格工作流 的灵活性和动态适应性。 网格工作流的调度决定网格工作流系统的执行性能。通过网格工作流任务角色 的区分实施自适应调度能显著提高网格工作流的执行性能。基于角色的网格工作流 自适应调度模型借助有向无环图分析具有依赖关系的网格工作流任务,根据任务的 不同角色进行任务优先级的设置,同时结合网格资源的动态性,进行网格工作流应 用调度。分支任务的优先调度能提高多个任务的并发执行程度,既充分利用了网格 资源,又提高了网格工作流应用的执行效率;关键路径(最耗时路径)中任务执行 时间的缩短,能最大限度地改善网格工作流任务的调度和执行性能;相对常规任务, 紧迫任务优先调度,而常规任务也可升级为紧迫任务而避免饿死;最佳资源调度策 II 略能满足用户对紧迫任务的时间需求,同时常规任务的均衡调度策略又兼顾了网格 资源的负载和利用率,提高了网格系统的吞吐量。 网格计算环境对工作流容错提出了新的需求和挑战,通过层次式的错误检测和 基于策略库的错误处理能有效的应对网格平台和网格应用的新需求。分布心跳检测 机制能快速、高效地检测大量异构资源的执行状况,层次式错误检测模型既适合网 格资源的动态变化,又能规模扩展。基于策略库的错误处理机制区分容错策略的执 行性能和适用范围,根据用户需求和资源状况检索出匹配的容错策略进行自动恢复, 尽可能的屏蔽网格工作流的错误处理,让用户把重心放在网格工作流的过程建模上, 同时也便于策略集的高效管理和动态扩充。 结合上述研究内容和方法,网格工作流管理原型系统以ChinaGrid 图像处理网格 应用平台为基础,支持遥感图像处理典型应用,支持资源共享和协同计算。该系统 提供一个灵活、动态的图像处理问题解决环境,其中网格工作流技术可满足灵活多 变的应用需求,通用服务请求代理能实现异构网格服务的简单调用,具有较强描述 功能的扩展有向无环图建模语言能对动态工作流模型进行定义。遥感图像处理应用 已成功地应用于该平台。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

罗思付之技术屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值