华为云王楠楠：分布式云原生全域调度的技术和实践

原创 已于 2022-06-30 22:47:09 修改 · 2.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#云原生 #华为云 #分布式

于 2022-06-30 18:43:40 首次发布
华为云分布式云架构师王楠楠在CSDN云原生峰会上分享了分布式云原生全域调度的技术和实践。介绍了分布式云原生技术如何解决云原生平台的体验、算力、流量和数据问题，以及全域调度的目标、架构和技术挑战。华为云原生的全域调度通过多资源池组合调度、计算存储网络多维度协同、以及运筹优化解决多租户资源分配，实现客户需求的最大满足。

嘉宾 | 王楠楠   整理 | 小雨青年

出品 | CSDN云原生

2022年6月21日，在CSDN云原生系列在线峰会第10期“华为云HCDE专场暨分布式技术峰会”上，华为云分布式云架构师王楠楠分享了分布式云原生全域调度的技术和实践。

华为分布式原生技术整体介绍

如何理解云？

计算能力作为一种商品，可以在互联网上流通，就像水、电、煤气一样，可以方便地取用。使用者无需关注实现细节，就像是用水没有人关心水源、水厂、管道，用电没有人关心发电厂、变电站、地下电缆。

割裂基础设施到华为分布式云原生。

现阶段，云原生平台存在以下问题：

  • 体验：分布式系统被设施割裂，分层管理，手动分发，缺乏全局管理视图

最低0.47元/天 解锁文章
CSDN云原生
关注
解析阿里云分布式调度系统伏羲
imgxr的博客
03-06 4259
作者：陶阳宇，花名举水，阿里云高级技术专家，飞天分布式系统早期核心开发人员，开发和优化过伏羲系统中多个功能模块，参加了飞天5K、世界排序大赛等多个技术攻坚项目。在分布式计算、高并发系统的设计和开发方面有较丰富的经验。 责编：郭芮（guorui@csdn.net），关注大数据领域。 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》 本文涉及阿里云分布式调度团...
华为云左少夫：面向分布式云原生 构筑无处不在的云原生基础设施
QW12345645ffg的博客
12-26 686
华为云CDN在全球部署2800+边缘节点资源，遍布130+国家和地区，全网带宽能力超150Tbps，高可靠性能保障，端到端全链路加密传输，在NetTurbo协议优化、智能缓存、全站加速、智能路由等方面有着独到优势，为超过十亿华为终端用户提供全球快速、稳定、安全的加速服务。华为云容器引擎CCE Turbo在CCE基础上再升级，是基于云原生2.0的新一代容器集群产品，计算、网络、调度全方位增强，依托华为云擎天架构，具有软硬协同、网络无损、安全可靠的特点，让容器真正成为企业应用创新的强劲引擎。
分布式云调度处理系统
weixin_33860722的博客
07-28 191
分布式云调度处理系统。 项目地址：http://git.oschina.net/chinax... 项目参考xxl-job进行若干改动。 项目基于quartz并进行若干扩展而成，适用于公司内部做定时调度处理，方便，快捷，简单。 支持bean, groovy, shell, python四种任务处理方式。 项目架构图 core: 云调度...
单集群10万节点 走进腾讯云分布式调度系统VStation
NicolasLearner的博客
10-21 673
云计算并非无中生有的概念，它将普通的单台PC计算能力通过分布式调度软件连接起来。其最核心的问题是如何把一百台、一千台、一万台机器高效地组织起来，灵活进行任务调度和管理，从而像使用单台机器一样方便地使用多台机器。目前，业界已存在多种分布式调度实现方案，比较知名的有Hadoop YARN、Mesos、Google Borg 等。 区别于以上调度系统，腾讯云的 VStation 从诞生之初，便肩负着大规模调度、海量并发和支持异构计算的历史使命，历经五年的打磨和历练，VStation 通过消息压缩、镜像缓存、快.
14.凤凰架构：构建可靠的大型分布式系统 --- 资源与调度
enlyhua的专栏
03-21 2051
第14章　资源与调度 调度是指为新创建的pod找到一个最恰当的宿主机节点来运行它，这个过程成功与否，结果恰当与否，关键取决于容器编排系统是如何管理 与分配集群节点的资源的。可以认为调度是必须以容器编排系统的资源管控为前提。 14.1　资源模型 资源是什么，在k8s里面所有能接触的方方面面都被抽象成了资源，譬如表示工作负荷的资源(Pod,ReplicaSet,Service等)，表示存储的资源(Volume, PersistentVolume,Secret等)，表示策略的资源(SecurityCo.
鸿蒙OS分布式任务调度,#2020征文-其它#鸿蒙子系统解读-分布式任务调度篇（下）...
weixin_26766559的博客
05-27 463
3.1.3.轻量设备端拉起FA在前面的分析中，我们看到会话报文通过协议格式的解析最终得到一个TlvDmsMsgInfo结构体，这个结构体中包含了命令字、包名、Ability名、调用者的签名等信息。然后在DmsLiteProcessCommuMsg()函数中根据命令字执行相应的动作。目前的代码只支持一个动作，就是拉起FA。下面的是拉起FA的代码：⑴调用CheckRemotePermission()函...
全面披露！华为云分布式云原生技术与实践
m0_46700908的博客
06-21 1909
华为云Karmada社区Maintainer任洪彩担任出品人，携手华为云分布式云架构师王楠楠，以及HCDE的代表成员——南京路特软件CTO戚俊、中韩未来革新加速器社长唐云峰、深圳市友浩达科技CTO张善友，共同分享了分布式云原生核心技术和典型应用。.........
华为云全域Serverless技术创新：全球首创通用Serverless平台被ACM SIGCOMM录用
hwxiaozhi的博客
08-05 1178
技术创新引领，赋能行业实践
【企业数字化转型】基于云原生架构的并行关账技术：华为MetaERP月结加速方案设计与实现
最新发布
08-30
通过分析传统月结流程中存在的串行处理瓶颈，介绍了并行关账的技术原理，包括任务划分与调度、数据一致性保障机制（如分布式事务管理）、以及基于云原生架构的资源动态分配与管理。文章详细阐述了并行关账的实施步骤...
云计算关键概念之一：云资源池
热门推荐
大漠极客
07-05 1万+
背景 云计算是信息技术和服务模式的一次重要变革，对传统的软件开发部署模式，网络流量流向、IT产业链构成等方面都产生了深远的影响。在云计算体系中，存储与计算资源集中放置在公共的云资源池中，使得客户能够通过网络以便利的、按需付费的方式获取。某种程度上说，云资源池是云服务的核心。 含义 云资源池有以下几层含义： 网络服务器集群（服务器、存储、CPU等） 云应用软件（操作系统、集成开发环境） 云平台软件（主机虚拟化，云管平台等） 基于网络为租户提供数据存储和网络计算服务 技术优势 1.提高了资源利用效率 传统的
多商品流点弧模型 python+gurobi
04-28
优化模型多商品流，python+gurobi实现，带两个例子
运筹与优化(一)-LP模型
rl小透明
06-02 1702
多商品流模型connection-based model1.所有行程都是一条边有两个顶点a.没有按照顶点对应的地点进行归类b.没有按照时间进行排序2.将所有的等待边和可跨线调度的边归为一类。3.使用边的数目较多。 传统的求解器软件（ILOG CPLEX，MOPS）
推荐系统（八）分类 TAB 商品流多目标精排模型的演进
Jin_Kwok的博客
07-21 1672
分类 TAB 商品流是得物 App 购买页面内除“推荐”页外的所有 TAB 内的商品推荐流，如“鞋类”、“箱包”等。当用户进入分类 TAB 中，我们可以简化为给定 三元组的商品流推荐，可以看出，分类 TAB 的推荐场景跟其他“开放式”推荐场景的最大差异在于，是限定条件下（品类）的推荐，与搜索场景有一点相似度，分类 TAB 代表着用户的品类意图。以我们目前的迭代进度，现阶段主要聚焦于 的二元建模，实际上
分布式定时任务调度系统技术选型
xmt1139057136的专栏
10-03 1203
我们先思考下面几个业务场景的解决方案：支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算电商整点抢购，商品价格8点整开始优惠12306购票系统，超过30分钟没...
多商品流问题
博客简介
04-06 6973
基于求解多商品流动问题的实验评价 1 引言 多商品流问题(MCFP)处理的是网络中商品流从源头到目的地的分配问题。MCFPs和包括交通和电信在内的几个领域都高度相关。几十年来，许多研究人员对MCFPs进行了研究，提出了多种解决方案，如列生成、拉格朗日松弛、分支定界和Dantzig-Wolfe分解。 2 多商品流问题 MCFP似乎是几个单一商品流动问题的组合。然而，由于商品之间的相互作用，MCFP的复杂性远远高于单独解决单个商品流动问题。为了解决MCFPs问题，必须考虑两个必要的约束条件。第一个是运输
组合与调度问题思考
zhf的博客
09-02 511
组合是调度中仅考虑QOS的一种特殊情况，以客户为中心 组合的问题相对来说是静止的，而调度相对而言是动态的。调度相对于组合而言，更多需要考虑的是当资源占用以后的任务如何匹配资源这一过程，需要考虑的是 等待时间 这一概念。 调度的时候，子任务还有 可分与不可分 的情况考虑 ...
浅谈分布式调度
快乐小码农的博客
10-07 7048
浅谈分布式调度 什么是分布式调度？ 要说分布式调度，那么先来谈下什么是分布式。 分布式：百度百科上是这么说的，当计算机的程序和数据通过网络分布在多于一个的计算机上时，计算就成为“分布式的”。通俗的说，平台是分布式部署的，各个节点之间可以无状态和无限的水平扩展。 那么什么是分布式调度？分布式调度就是运⾏在分布式集群环境下的调度任务。它有两层含义： 同⼀个定时任务程序部署多份，只应该有⼀个定时任务在执⾏ 定时任务的拆分，即为把⼀个⼤的作业任务拆分为多个⼩的作业任务，同时执⾏ 下面我们通过一个图来简单了解下分
【 云原生 | kubernetes】- 资源调度
ycloud
09-22 494
调度器通过 kubernetes 的监测（Watch）机制来发现集群中新创建且尚未被调度到 Node 上的 Pod。 调度器会将发现的每一个未调度的 Pod 调度到一个合适的 Node 上来运行。 调度器会依据下文的调度原则来做出调度选择。
全域调度：云边协同在视频场景下的探索实践
LiveVideoStack
06-17 1400
随着多媒体业务越来越多的涌现，每个业务都有不同的差异性特征。各大视频云厂商遇到的最大挑战是如何打造多媒体分发网络，使用最低成本为多业务提供最优质网络体验。本次分享邀请到了华为云算法专家——...
华为云GaussDB高性能分布式数据库详解与部署方案
资源摘要信息:"华为云GaussDB是华为自主研发的高性能、高可用、高扩展性的分布式关系型数据库服务，专为满足企业级和政府机构在大规模数据处理、事务一致性、系统可靠性及安全性等方面的严苛需求而设计。该数据库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值