邀您参与 | 阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务？

于 2020-07-10 17:29:38 发布
阅读量1k 收藏
点赞数
文章标签： 机器学习/深度学习 人工智能 Kubernetes Cloud Native 大数据 调度 开发者 异构计算 微服务 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alitech2017/article/details/107257019
版权
简介：2020 年 7 月 15 日上午 10：00，《阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务？》主题线上网络研讨会即将召开。

1.png

随着 Kubernetes 的广泛应用，越来越多的开发人员尝试使用 Kubernetes 运行和管理 Web 应用和微服务以外的工作负载。典型场景包括深度学习任务，高性能计算作业，基因计算工作流，甚至是传统的大数据处理任务。

围绕 Kubernetes 容器平台，统一管理各种异构算力资源，高效调度AI、大数据、高性能计算任务，已然成为云原生技术带来变革的领域之一。

阿里云容器服务团队结合多年 Kubernetes 产品与客户支持经验，基于 Kubernetes scheduling framework 对调度器进行了大量扩展和改进，使其在多种场景下依然能稳定、高效地调度复杂工作负载类型，为用户使用 Kubernetes 同时管理在线应用和离线任务提供了基础技术支撑。

2020 年 7 月 15 日上午 10：00，《阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务？》主题线上网络研讨会即将召开。

2020 年 7 月 15 日网研会邀你参加

  • 题目：阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务？
  • 时间：2020 年 7 月 15 日(10:00 AM)
  • 语言：中文

2.jpg

议题介绍

本次研讨会将介绍 Kubernetes Scheduling Framework 的发展现状，以及阿里云 Kubernetes 服务支持调度 AI、大数据等复杂工作负载和 GPU 等异构计算资源的实践经验。还将详细介绍如何实现 Coscheduling／Gang Scheduling、Capacity Scheduling 等任务级调度特性。

问题聚焦

  1. 了解 Kubernetes Scheduling Framework 当前进展与未来发展方向
  2. 了解阿里云扩展 Scheduling Framework 支持任务级调度的开发经验
  3. 尝试构建自己的 Scheduling Framework 插件

报名方式

点击即可报名

什么是 SIG Cloud-Provider-Alibaba?

Cloud Provider SIG 是 Kubernetes 的云厂商兴趣小组，致力于让 Kubernetes 的生态系统往厂商中立的方向演进，他会负责协调不同厂商尽可能以统一的标准来满足开发者的需求。阿里云作为国际有影响力的云厂商，作为国内首个加入 Cloud Provider SIG 的云厂商也在推动 Kubernetes 的进一步标准化，并进一步和横向云厂商如 AWS、Google、Azure 进行技术协同，优化云和 Kubernetes 连接，并统一不同组件的模块化和标准化协议。

前三期网研会回顾：

如何参与共建？

Kubernetes 作为云原生时代的应用操作系统，已经成为事实上的标准。阿里云在 Kubernetes 实践的过程中开源了众多的项目，如位于底层的计算、存储、网络、安全等相关的 5 个大的类别和上层领域相关的 AI、应用管理、迁移、Serveless 等 5 个大的类别，为用户应用提供全栈式生命周期管理。

3.jpg

希望对 Kubernetes 感兴趣的开发者可以找到对应的开源项目。我们非常期待与大家一起来共建，无论是提 PR 或 Issue，还是对 Roadmap 提出建议。后续，SIG Cloug Provider Alibaba 也会针对具体的组件分享原理、最佳实践。

4.jpg

点击即可报名

CNCF网研会海报.jpg

“阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践，做最懂云原生开发者的公众号。”

原文链接：https://developer.aliyun.com/article/767368?

版权声明：本文中所有内容均属于阿里云开发者社区所有，任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com，已获得阿里云开发者社区协议授权的媒体、网站，在转载使用时必须注明"稿件来源：阿里云开发者社区，原文作者姓名"，违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：developer2020@service.aliyun.com 进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容。
阿里开发者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
福利来了！计算巢支持在已经购买的 ECS 上搭建幻兽帕鲁服务器，支持图形化管理配置
01-31 754
现在你可以参考这篇教程，将原来搭建的幻兽帕鲁服务器迁移到计算巢上，享受计算巢上所支持的界面化调整游戏配置（死亡掉落、服务器密码等）。或者也可以用于重新安装，升级到最新版本的计算巢幻兽帕鲁服务。
博客
MQTT Broker 规则引擎入门：快速指南
07-11 1629
本文将向您介绍 EMQX MQTT Broker 的规则引擎功能，并阐述其在 MQTT 消息转换和数据集成方面的重要作用。同时，我们还将提供一份快速入门指南，通过实例帮助您快速上手 MQTT 规则引擎。MQTT 是一种高效可靠的消息传输协议，特别适用于低带宽、高延迟网络（在物联网领域十分常见）。在 MQTT 的发布/订阅模型中，MQTT Broker 扮演着关键角色，负责接收发布者发送的消息并将其可靠高效地分发给订阅者，确保消息的顺利传递。
博客
2023 年最适用于工业物联网领域的三款开源 MQTT Broker
07-11 1710
MQTT 最初作为一种轻量级的发布/订阅消息传递协议而设计，如今已经成为工业物联网（IIoT）和工业 4.0 发展的重要基础。它的意义在于实现了各类工业设备与云端的无缝连接，促进了运营技术（OT）和信息技术（IT）的融合。本文对比分析了 2023 年工业物联网领域最优秀的三款 MQTT Broker，介绍了它们的优点、缺点和应用场景。同时，还展示了如何利用这三款 MQTT Broker，为您的工业物联网解决方案打造统一命名空间（UNS）架构。
博客
使用 Terraform 在 GCP 上一键部署 EMQX MQTT Broker
07-11 1399
MQTT 是一种轻量级的消息传递协议，适用于物联网应用实现设备间通信。作为一款主流的开源 MQTT Broker，EMQX 能够提供高扩展性、可靠性和安全性的 MQTT 消息传递服务。借助广泛应用的基础设施即代码（IaC）工具 Terraform，您可以轻松在 GCP 上自动部署 EMQX MQTT Broker，从而简化和规范 MQTT 基础设施的设置和管理。本文将指导您如何设置 GCP 项目、创建服务账户、编写 Terraform 配置文件，实现轻松部署 EMQX MQTT Broker。
博客
MaxCompute中如何处理异常字符
07-11 1409
在处理数据时，当业务数据同步至MaxCompute后，会产生一些含异常字符的脏数据，比如字段中包含了一个不可见字符，在DataWorks中显示不出来，但在BI界面又会显示成其他字符，影响整体观感。这种情况，通常我们的解法是，将异常的字符洗掉，下面来介绍几种常见的处理异常字符的方法。如下图，可以看到“异常name”和“正常name”的 length值 不同，多了个不可见字符，但是我们并不能看出来啥。后期做数据处理或数据展示可能成为一个难以定位的问题。
博客
构建可靠的物联网系统：了解 MQTT 性能测试
07-10 1415
近十年来，物联网迎来了爆炸式的增长。面对海量的设备及其产生的数据，物联网应用和服务变得越来越复杂。我们不仅要保证这些物联网系统的业务功能正确无误，还要保证系统能够支持大量设备之间持续稳定地通信。性能测试是一种检验系统健壮性的方法，它关注扩展性、可用性、可靠性等指标，可以帮助发现系统在正常使用场景下以及在极限使用场景下的表现。对物联网系统进行集成测试和端到端测试，以保证系统功能的正确性，已经是业界的通用做法。因此，我们需要通过性能测试以确保所构建的物联网系统是稳定可靠的。
博客
数据隐私为先：EMQX Cloud BYOC 架构解析
07-10 1295
EMQ 近期推出了 EMQX Cloud BYOC，采用了以数据隐私为先的架构，为解决这些问题提供了一个理想的方案。用户可以在自己的云环境中部署 MQTT 集群，完全掌控自己的数据隐私和安全。随着物联网的飞速发展，保护数据隐私和安全变得愈发重要。构建一个安全、可靠、可扩展的物联网基础设施成为企业的首要任务。本文将深入剖析 EMQX Cloud BYOC 的架构，并探讨它如何保障您的物联网基础设施安全。
博客
谈一谈文件系统的多租户实践
07-10 1358
多租户是云服务的重要属性。通过集群级别调度云服务实例，亦或是机器级别调度来自不同云服务实例的请求，云服务既要保证整个集群的物理资源都得到高效的利用，同时也要保证每个租户都能达到预期的性能指标。
博客
Sparkplug 规范中涉及 MQTT Broker 的 5 个关键概念
07-10 1399
Sparkplug 是一种为 SCADA 系统量身定制的工业物联网通信协议。它为工业设备和应用提供了一种标准的通信格式，实现了不同厂商设备的互操作性。Sparkplug 规范由 Cirrus Link Solutions 和 Eclipse Foundation 共同制定。它是开放的，不属于某一家公司。
博客
对象存储异地多活容灾架构解析
07-07 1389
作为一个分布式的存储，对象存储底层是采用多副本方式实现的，以便在一个可用区内，保证每个写入的对象都有极高的可靠性，其数据可靠性不低于“12个9”、服务设计可用性（或业务连续性）不低于99.995%。虽然硬盘故障、单机异常等情况不会影响到数据可用性和可靠性，但是在面对机房级别故障（如停电、网络异常）或自然灾难（如地震、海啸）等导致的一个数据中心无法提供服务时，使用该数据中心的客户服务还是会受到影响的，因此异地容灾能力不可或缺，当某集群发生异常时，需要快速切换服务，保障业务的可用性。
博客
浅谈对象存储分布式缓存
07-07 1361
下图是用户读取数据的系统路径图，红线部分是键值存储系统直读飞天盘古优化。随着键值存储系统直读飞天盘古功能的上线开通，块数据的读取可以绕过键值存储系统，直接请求飞天盘古系统读取，这在一定程度缩短了数据读取的路径，减少了整体对象存储系统的响应时间，但是同时也使得键值存储系统路径上对数据读取的缓存优化失效，导致飞天盘古的请求压力上升。针对一次对象数据读取，用户请求会通过负载均衡到业务前端系统，业务前端系统通过计算得到对象的块列表并进行遍历，请求键值存储系统获取块数据，最后将读取的块数据有序地返回给用户。
博客
【达摩院OpenVI—通用检测系列之视频目标检测】(ICASSP 2023) 针对流感知的长短支路网络 LongShortNet
07-07 1379
传统视频目标检测（Video Object Detection, VOD）任务以一段视频作为输入，利用视频的时序信息进行目标检测，并最终输出每一帧视频帧的检测结果。其相比图像目标检测（Image Object Detection, IOD）任务，优势在于能够利用视频的时序信息，对运动模糊、图像失焦、遮挡、物体姿态变化等困难的场景具有更强的鲁棒性。然而，传统的VOD和IOD都是离线（offline）的检测，即仅考虑算法的检测精度，未考虑算法的延时。
博客
如何保证分布式文件系统的数据一致性
07-07 1469
分布式文件系统在设计实现的时候面临的一个首要问题是数据一致性，即需要向用户提供一个合理的数据一致性模型（Consistency Model)，这个数据一致性模型成为用户程序和系统之间的一个合约（Contract）。这个合约里的规则保证程序对数据的读写结果是可预期和可理解的。具体到分布式文件系统的客户端，如果没有缓存，数据一致性和多个进程访问本地文件系统的场景是类似的。如共享模式，当客户端打开一个文件时，可以指定被分配的文件句柄在被关闭以前该文件是否允许被再次打开，如果允许，就可以指定允许的请求读写权限。
博客
【OpenVI—论文解读系列】达摩院高清人像美肤模型ABPN CVPR论文深入解读
07-06 1309
相较于互娱场景的磨皮美颜，广告级、影楼级的精细化美肤给算法带来了更高的要求与挑战。另一方面，在去除瑕疵的过程中，需要尽可能的保留皮肤的纹理、质感，实现高精度的皮肤修饰；最后也是十分重要的一点，随着摄影设备的不断迭代，专业摄影领域目前常用的图像分辨率已经达到了4K甚至8K，这对算法的处理效率提出了极其严苛的要求。为此，我们以实现专业级的智能美肤为出发点，研发了一套高清图像的超精细局部修图算法ABPN，在超清图像中的美肤与服饰去皱任务中都实现了很好的效果与应用。
博客
【达摩院OpenVI-视觉评价系列之MOS评价实战篇】手机存储不够用，清理照片太痛苦？MOS评价帮你挑选“垃圾”照片
07-06 1289
传统的主观评价方法需要大量人力和时间成本，使得其在实际应用中受到一定限制。而深度学习模型可以在大规模数据集上进行训练，从而可以在更广泛的场景下进行应用。相比于传统的主观评价方法需要大量受试者进行评估，使用深度学习模型可以大大减少评估时间和人力成本，从而提高评估效率。使用深度学习模型进行评价可以使得评估结果具有可重复性，不会像传统的主观评价方法一样受到个体差异的影响。深度学习模型可以通过训练来学习人类主观评价的规律和模式，从而使得评估结果更加一致和准确。
博客
Seata Saga 模式快速入门和最佳实践
07-06 1312
本文主要介绍 Seata Saga 模式的使用以及最佳实践，围绕三个部分展开，第一部分是 Seata Saga 的简介、第二部分是带大家快速入门，学习怎么使用 Seata Saga 模式，最后一部分将会给大家分享一些 Seata Saga 实践中的经验，帮助用户更快、更好得使用 Seata Saga 模式。Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。
博客
达摩院|视觉智能AI场景解决方案——AI智慧运动
07-06 1507
由阿里云|达摩院——视觉智能平台推出的新功能AI智慧运动健身/线上体育由摄像头拍摄人像动作视频，通过AI进行图像和实时检测出，识别出人体关键点，检测不规范肢体动作，同时可实现实时反馈和计数。已支持的健身动作有15种，还可支持定制健身动作。主要涉及：肢体动作计数离线SDK；肢体动作计数反馈离线SDK；动作打分离线SDK。【达摩院|视觉智能AI场景解决方案——AI智慧运动】-阿里云开发者社区本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。
博客
阿里云斩获 4 项年度云原生技术服务优秀案例
07-05 1286
云原生是一种基于容器化、微服务等技术的应用开发和部署模式，它可以帮助企业快速构建和部署应用程序，提高应用的可靠性、弹性和可扩展性，让企业可以更加敏捷地响应市场需求，快速上线新产品和服务，提高数字化转型的效率和速度，利用云原生技术架构和理念构建数字化新底座正在成为各行各业数字创新的实践重点。日前，在 ICT 中国·2023 高层论坛-云原生产业发展论坛上，由阿里云容器服务提供技术支持的。两大产品技术方案，共同获得 2023 年度云原生应用实践先锋——云原生技术服务优秀案例。
博客
阿里云携手开放原子开源基金会倡议发起云原生工作委员会，两大开源项目达成捐赠意向
07-05 1267
6月11日，2023开放原子全球开源峰会正式拉开帷幕。本届峰会以“开源赋能，普惠未来”为主题，设置了开幕式暨高峰论坛、20余场分论坛和开源成果及重点项目展览。在峰会主论坛，开放原子开源基金会理事长孙文龙协各家单位共同倡议发起云原生工作委员会。
博客
【OpenVI—论文解读系列】达摩院开源低成本大规模分类框架FFC CVPR论文深入解读
07-05 1261
2.）长尾问题：实际场景中，当数据集达到上亿ID时，往往其绝大部分ID内的图片样本数量会很少，数据长尾分布非常明显，直接训练难以获得较好效果。1.）成本问题：分布式训练框架 + 海量数据情况下，内存开销、多机通信、数据存储与加载都会消耗更多的资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值