优优工场(YOYOWORKS)XPU通过亚马逊 AWS Marketplace对外发布

【2021年10月19日 优优工场】云原生的GPU虚拟化AI平台产品XPU 现已上线AWS Marketplace，可供用户直接使用。

        AWS Marketplace是全球规模最大最成功的公有云生态产品和服务目录，它使客户能够轻松查找、测试、部署和管理他们在AWS全球范围内当前20个区域（AWS 中国包括北京和宁夏两个区域）运行系统所需要的第三方软件和服务。借助AWS Marketplace，客户可以从这一应用软件商店查找和比较软件产品，并在登录其AWS账户后，几分钟内快速部署和使用预配置的软件产品。客户可以在AWS Marketplace全球官方网站（AWS Marketplace: Homepage）或 AWS Marketplace 中国官方网站。

        优优工场(YOYOWORKS)作为Amazon AWS全球和亚马逊云科技（中国）的官方合作伙伴，帮助客户轻松实现的AI 计算云原生的GPU虚拟化方案。XPU是优优工场(YOYOWORKS)推出的容器GPU虚拟化产品。XPU核心思想是将GPU在内核层进行切分，向上模拟出统一的XPU设备供容器使用，即多个容器共享一张GPU卡。XPU实现了一套框架能够很好的屏蔽异构GPU和应用（TensorFlow，PyTorch等）之间的耦合，对GPU进行故障隔离，显存隔离，算力隔离，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。

XPU 云原生AI平台解决方案，主要优势如下：

        XPU采用零侵入式架构设计，通过kernel module，services及container runtime为容器提供虚拟的GPU设备，在保证性能的前提下隔离显存和算力，为充分利用GPU硬件资源进行训练和推理提供有效保障。

• 高性能

1. 采用本地使用GPU计算资源的架构，有天然的性能优势，相比于物理GPU，性能损耗几乎为零。
2. 支持将GPU切片为任意大小的XPU，从而允许多AI负载并行运行，提高物理GPU利用率。
3. 提高GPU综合利用率多达3-10倍，1张卡相当于起到N张卡的效果，真正做到昂贵算力平民化。

• 安全性

        完美支持GPU单卡和多卡的算力隔离，显存隔离及故障隔离。

• 兼容性

1. 零侵入设计： 最大的限度保证向后和向前兼容。用户零开销在 XPU 平台上运营现有AI应用，无缝兼容已有NGC等容器镜像。
2. 硬件兼容性： 完美支持包括NVIDIA Pascal及以后架构的系列 GPU（GeForce，Quadro/RTX，Tesla）；支持裸金属和虚拟环境，支持物理GPU和vGPU。
3. 架构兼容性：依托实现在内核模块层的通用接口能力，XPU 完美支持CUDA8.0 及以后所有版本的框架和应用。

         生态兼容性：兼容业界标准的Kubernetes和NVIDIA Docker产品和方案。

         AWS Marketplace 全球网站和AWS Marketplace中国网站是用户使用 AWS 云产品和服务的统一入口。 下面我一 AWS Marketplace 全球为例介绍用户使用优优工场(YOYOWORKS) XPU 产品和方法（AWS Marketplace中国的方法非常类似，请通过其访问）。

         AWS Marketplace官网支持英文关键词搜索。以下我们就向您展示如何通过AWS Marketplace官方网站订阅以及使用XPU。

第一步：通过AWS Marketplace官方网站搜索框，搜索“yoyoworks”或者“XPU”，点击产品并选择右侧“Continue to Subscribe”XPU

下拉查看具体相关信息：

第二步：进入下一页阅读相关内容，以及条款说明后，点击“Continue to Configuration”按钮。

第三步：点击“Continue to Configuration”后进入产品配置软件步骤，您可以按需选择Delivery Method、Software Version、Region三个选项，然后点击“Continue to Launch”按钮。

第四步：在您接受软件相关条款确认订阅并确定区域和软件版本后，您进入“Launch this software”的界面，在此界面中您可以选择通过网站或者Amazon Elastic Compute Cloud (Amazon EC2)控制台启动Amazon系统映像（AMI）产品。“Launch from Website”选项使用软件供应商推荐的软件配置帮助客户通过几次点击就可以快速启动一个实例。如下图所示，在软件启动页面，您可以清楚看到“Launch from Website”选项。在您完成一些基本设置后，例如VPC、安全组、密钥对和Amazon EC2实例类型，您就可以直接启动软件。

如果需要更多的配置选项，您仍可以选择通过Amazon EC2控制台启动产品。所有在AWS Marketplace上面的产品都已经经过质量和安全验证并在 AWS基础设施上预配置了快速启动功能。

集中化软件管理

此次官网上线，AWS Marketplace还配合推出了AWS Marketplace订阅控制台以帮助您查看和管理所有您在AWS Marketplace上面的订阅。在这个控制台中，您可以查看每个产品的Amazon EC2实例状态，启动一个新实例，或者取消您的软件订阅。要访问这个控制台，您可以在登陆后，在网站的右上角您的用户名的下拉菜单中选择您的AWS Marketplace软件选项，或者您可以在Amazon EC2控制台的左侧查找服务中直接输入AWS Marketplace。如下图所示，AWS Marketplace订阅控制台包含所有您订阅过的产品列表，点击每项产品，你还可以看到产品概述以及相关管理选项。例如，您可以查看某一个产品正在运行的所有实例信息。