m0_49711991的博客

OrionX支持将不同品牌如英伟达、寒武纪、华为海思、海光等构建成一个异构资源池，上层业务人员无须关心底层具体调用哪个品牌、哪个型号的算力资源，底层算力对上层业务人员完全透明，业务人员只需关注需要多少张算力卡，以及需要多少算力、显存资源，进行按需申请即可。通过软件定义的方式，可以构建一个灵活的算力资源池，满足不同应用对于计算能力、存储能力和网络能力的需求，同时实现资源的按需分配。通过软件定义异构AI算力资源池，可以实现对算力资源的精细化管理和优化调度，从而提高算力的利用率和效率。

在实践中，很多企业AI系统都是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化。资源池的核心是通过软件的方法，将各种硬件（CPU、内存、磁盘、网络等）变成可以动态管理的“资源池”，从而提升资源的利用率，简化系统管理，实现资源整合，让IT对业务的变化更具适应力。GPU池化也是遵循这样的理念，对物理GPU进行抽象，软件化后形成一个统一的资源池，方便用户按需对GPU资源进行有效调用，无需关注实际物理GPU的大小，数量，型号以及安插的物理位置。

随着5G、人工智能、云计算、大数据、IoT等技术的推动，万物互联的时代即将到来。因为大量AI应用都依赖GPU的超强计算能力，可以预见算力需求将越来越大，GPU在数据中心的地位也会越来越高。然而理想是丰满的，现实却是骨感的，GPU的计算能力虽然很强，但GPU总是因各种原因“罢工”:不是因为GPU故障，就是因为GPU资源不够，导致上层AI应用无法安全、稳定地运行，使AI应用管理员很狼狈，每天总是疲于奔命。究其。

该报告从智慧共享出行的远大蓝图讲起，认为随着汽车产业“电气化”、“智能化”、“网联化”、“共享化”进程的不断发展，集“四化”于一身的Robotaxi代表了未来地面共享出行的理想形态。为了突破技术桎梏、推动商业落地，行业参与者从各自角度出发，或通过技术和产品的打磨，或通过生态和模式的创新，或通过政策和标准的制定，推动着自动驾驶行业健康、有序发展，稳步前进。在这个背景下，Robotaxi行业参与者众多，也需要各路“玩家”建立统一的商业视界，在数据高效流通的世界内通力协作，建立智慧共享出行的新模式。

GEMINI AI训练平台以云原生容器服务为基础架构，调用云资源，配合人工智能、大数据以及分布式计算框架，服务于企业的AI算法开发、模型训练以及AI应用部署需求。诸如自动驾驶、电信、银行、互联网等领域的头部客户都已开始采用趋动科技的解决方案，实现算力的灵活调配，从而降低IT成本，提高生产运营效率。然而在现实应用中，作为高级图形处理和算力支持的GPU利用率却并不高，传统的物理绑定GPU方式正在束缚算力资源，让其无法发挥应用的价值，更别提在高级别渲染、虚拟现实和深度学习等项目中灵活的进行资源协作。

目前很多企业在做AI开发的场景时，对GPU资源的管理都是非常简单粗暴的。他们大多都是以开发小组为管理单位、由运维以台为单位分配给开发工程师使用。而在AI开发中涉及开发的场景和测试的场景，很多是将开发测试甚至训练任务都放在一起来使用资源，这时用户就会在资源使用方面遇到一些问题：从管理角度看，用户会遇到资源无法统一管理和调度、也无法做到很好的监控和资源统计的问题；从算法人员的角度看，他们面临的问题就是资源紧张须相互协调、无法灵活动态地使用和申请资源的问题。

通过pytorch的api我们可以直接拿到GPU的信息，跟物理卡是一致的，物理卡是T4，vGPU同样是T4，此时vGPU是分配了一块卡，所以显示的数量也是一样的，根据pytorch拿到的信息我们可以发现对于上层的框架而言调用vGPU资源跟调用物理GPU资源是一样的，不会有什么改变，那对于上层的应用来说也是透明的使用vGPU资源。我们使用了pytorch 1.8.1 cuda 10.2的镜像，然后将ubuntu的软件源改成阿里云的，同时删除nvidia的源，否则会因为网络问题无法安装其他软件。

在之前的文章中，我们讲述了OrionX vGPU基于SSH模式、以及Jupyter模式下的最佳实践（文末附回顾链接~），今天，让我们走进CodeServer模式的最佳实践。• CodeServer模式：微软的VSCode的服务器版本，近年很多企业在采用该工具，使用资源的方式类似Jupyter，也是部署在虚机或者容器当中。

OrionX通过软件定义AI算力，颠覆了原有的AI应用直接调用物理GPU的架构，增加软件层，将AI应用与物理GPU解耦合，通过构建GPU资源池，对资源池中的GPU资源进行统一管理、维护和调配，资源池的大小可以根据系统管理需求而定，比如，可以将数据中心内所有的物理GPU纳入资源池中，也可以将一个GPU服务器作为一个资源池。通过软件定义算力的方式，将传统GPU资源以整卡为单位进行分配，变为以算力1%，显存1MB为基本单位进行资源提供，实现GPU按需分配，整体利用率提升明显。

趋动科技作为完全自主可控的软件定义AI算力技术领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证，并认证了ISO9001和ISO27001资质。该解决方案在光大平稳运行2年多以来，我们很高兴地看到，全栈云平台已经高质量地达成了建设目标，作为光大银行数字化转型的稳固底座，成为了覆盖更广泛需求、资源云化、上下游一体调度支配的云计算技术中台。> 场景灵活转换：统一资源池，同时支持推理和训练场景，瞬间转换，资源随时就绪。

当前智能算力芯片成本已占到数据中心服务器总体成本80%，然而智能算力芯片作为新型硬件形态，其虚拟化能力存在局限性，算力资源只能以独占方式进行分配，导致底层资源无法被充分利用——据统计，智算中心异构算力硬件总体利用率普遍低于30%，导致算力建设总体成本居高不下。数字经济时代，算力已成为国民经济发展的重要基础设施。趋动科技OrionX猎户座AI算力资源池化解决方案为运营商客户带来创新的异构算力资源管理和分配方案，引入软件定义算力的概念，将OrionX软件部署在多台不同类型的异构算力服务器上，通过网络互联，

OrionX专注于GPU服务化，通过创新的技术和灵活的服务模式，为用户提供了一种高效、可扩展且成本效益高的解决方案，它以其独特的GPU服务化理念，为用户提供了一个打造高质量算力基础设施的新选择，也为整个行业树立了一个高标准。：OrionX的算力池化技术实现了应用与算力的解耦合，使得应用部署更加灵活，不再受限于宿主机的算力类型，极大地提升了资源的利用效率和应用的可移植性。：OrionX将算力的使用模式从传统的设备独占式转变为服务化的动态使用，有效减少了算力的闲置时间，提高了资源的利用率。

绿色、智能、互联已成为电力行业主旋律。趋动科技结合国网现有人工智能平台，实现了人工智能算力资源服务快速“一站式”集成，将人工智能计算任务和算力需求进行沉淀、集中和自动化，提升AI算力全局管理能力及管理精细度，助力客户充分发挥出电力企业级规模优势，全面提升其智能化程度、速度，保障智慧电网建设！为提升算力配给效率、节约社会资源，某省国网公司与趋动科技共同联手建设落地了《大规模异构算力池化调度》项目，有效保障了国网人工智能业务的算力调度供给，缓解算力资源压力，同时为未来国产化异构算力建设提供了前沿研究。

1886年，世界上第一辆汽车诞生。在随后的一百多年时间里，汽车成为广泛用于社会经济生活多种领域的重要交通运输工具，极大地推动了人类社会经济的发展。进入新世纪，汽车的电动化、智能化日趋明显。在汽车智能化方面，最核心的当属智能驾驶了，从ADAS到智能驾驶，越来越多的AI技术在汽车上得到应用。相比有人驾驶的汽车，智能驾驶汽车需要通过三大关键系统感知层、决策层和执行层，来模拟驾驶人员的眼睛、大脑和四肢。

论坛期间，趋动科技技术总监张增金先生就“智造底座-AI算力池化的必要与实践”这一重要议题，阐述了趋动科技GPU资源池化解决方案，趋动科技不仅能够通过池化GPU灵活分配资源，从而支持更多人工智能负载，还能为制造场景下运行的应用提供高性能算力，为企业实现算力资源最大化提供有效支撑。算力驱动，赋能未来。现如今，趋动科技正与各位生态伙伴共同努力，持续加速智能制造、工业互联网等数字化应用场景在制造企业的全面落地，大力提升制造业实现数字化转型和智能化变革的速度与效率，让算力驱动企业运作，并实现效益与价值。

智算中心是基于最新人工智能理论，采用领先的人工智能计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的公共算力新型基础设施，通过算力的生产、聚合、调度和释放，高效支撑数据开放共享、智能生态建设、产业创新聚集，有力促进AI产业化、产业AI化及政府治理智能化。构建软件定义的异构AI算力资源池，使AI应用无需修改就能透明地共享和使用各智算中心内任何服务器之上的AI算力资源，不但能够提高智算资源利用率，而且可以极大便利AI应用的部署。软件定义AI算力的池化技术，实现了AI芯片的任意虚拟化、远程调用和池化。

AI算法模型的开发，测试和训练是自动驾驶公司最重要的工作之一，它们都需要大量GPU算力来支撑。然而，“一人一卡”的简单独占式GPU分配方式会导致GPU分配率高但实际利用率低，造成大量算力的浪费。基于远程GPU的GPU池化技术能够做到动态分配和自动释放GPU资源，是解决这个问题的关键方法。（1）硬件层；（2）内核层；（3）运行时层。在硬件层实现GPU虚拟化的主要代表是英伟达的MIG，它的优点是性能损失小，缺点是只支持固定比例的GPU切分，只支持部分英伟达高端GPU。

因此，AI复现不仅需要算力支持，框架版本、环境配置、预训练模型等方面更需要细致的支持，AI对存储的诉求也非常大，这源于通用存储方案很难满足AI训练的过程，计算高性能带来存储IO瓶颈。在AI时代，对任何用户而言，发展的每一步，都来之不易，AI算力的成本优化与效率优化十分重要，也迫切需要。，避免了用户对AI算力的运维麻烦。进一步分析来看，要实现CPU与GPU解耦合，需要理解用户代码怎么使用GPU，在便利性与性能上有所选择，为此可以做API聚合优化，改变用户代码行为，从而让用户体验到实现代码调用性能更高。

作为AI市场中的重要组成，以GPU技术为主的AI加速市场也得到了快速的发展，与此同时，由于GPU硬件价格昂贵，传统使用GPU算力的独占式使用方式缺乏灵活性和经济性，趋动科技作为GPU池化技术领导者，自主研发的OrionX AI算力资源池化软件可以为企业用户构建数据中心级AI算力资源池和AI开发平台。VMware此次联合趋动科技验证了在VMware Cloud Foundation（后面缩写为VCF）平台上提供GPU池化算力方案的能力，目的是更加灵活地为AI训练提供GPU算力，助力AI场景快速落地。

如同的蒸汽机、电气时代的发电机、信息时代的计算机和互联网，人工智能正成为推动人类进入智能时代的决定性力量。一个产业的发展，通常要依次经历make it work、make it perform、make it cheap这三个阶段。随着大数据、云计算、互联网、物联网等信息技术的发展，人工智能技术大幅跨越了科学与应用之间的“技术鸿沟”，诸如图像分类、语音识别、

趋动科技的OrionX AI算力资源池化解决方案帮助客户构建数据中心级AI算力资源池，使用户应用无需修改就能透明地共享和使用数据中心内任何服务器之上的AI算力，不但能够帮助用户提高资源利用率，而且可以极大便利用户应用的部署。基于OrionX的AI算力资源池，用户能够实现资源动态申请和释放、资源的切分，以及重要的AI任务能够按照优先级别进行排队等功能，以便满足不同任务优先级别的AI算力资源使用需求，最大限度提升AI算力资源利用率。每个用户的AI任务能够通过资源隔离实现任务隔离，确保AI任务安全、稳定地运行。

软件定义算力，就是通过资源的池化，把大巴车的座位变成一个池子，根据对算力的不同需求，在池子中划出精确的需求部分，从而让用户对于算力的使用和管理，实现了从车辆级别的粗放型变成座位级别的精细化管理。王鲲说，AI是技术驱动的行业，各种前沿技术和应用层出不穷，建立企业间的战略伙伴关系，不仅可以在技术上紧密配合，还可以在商务上彼此互补，同时提高彼此的竞争力和营销能力，有效整合资源，达到双赢的局面，推动整个AI行业的进步。“不同行业有自己的特点，但是跑在不同行业上的应用，在我们看来其实都是一样的，都是AI的应用。

当前，爆发了ChatGPT热潮，吸引众多科技企业陆续加入其中。这与当年美国西部加利福尼亚的淘金热何其相似。历史总会惊人的相似，ChatGPT聊天机器人好比一座数字化时代的金矿。全世界科技淘金人蜂拥而至，从潮起到潮落，潮水退去之时，能生存下来的可能不是淘金人，而是卖铲子、卖牛仔裤等提供淘金基础工具的那批人。站在ChatGPT的行业风口，除了超大模型的演进发展，还将诞生更多的小模型专注服务，普惠千家万户，将是必然趋势之一。从大模型走向小模型，谁将是未来的大赢家？

视觉是人类获取信息最主要的渠道，它使人们得以感知和理解周边的世界。通过视觉，人类可以感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息。人类的大脑皮层约有70%都在处理视觉信息，因此可以说视觉是人类最重要的感觉。机器视觉又称计算机视觉（CV），通过电子化的方式来感知和理解影像，让机器或计算机可以像人类那样“看”，甚至达到超越人类视觉智能的效果。随着工业自动化技术向着智能化方向演进，工业场景对计算机视觉技术的需求持续推进着工业机器视觉技术的发展。

作为AI市场中的重要组成，以GPU技术为主的AI加速市场也得到了快速的发展，与此同时，由于GPU硬件价格昂贵，传统使用GPU算力的独占式使用方式缺乏灵活性和经济性，云原生技术的发展又催生了快速交付细粒度切分GPU算力的需求，所以市场上急需经济高效GPU算力池化方案。OrionX提供GPU池化能力。VMware此次联合趋动科技验证了在VMware Cloud Foundation（后面缩写为VCF）平台上提供GPU池化算力方案的能力，目的是更加灵活地为AI训练提供GPU算力，助力AI场景快速落地。

采用焱融科技自研的高性能并行文件存储系统 YRCloudFile，通过可扩展的元数据架构缓解元数据节点压力，解决数据访问性能上限问题，提升海量文件并发访问的性能，满足自动驾驶海量数据处理的业务要求。该方案通过软件定义 AI 算力，实现 AI 算力细颗粒度资源共享，跨物理机资源聚合及远程调用，资源池范围内动态伸缩。，在计算方面，通过趋动科技 OrionX AI算力池化方案，把异构算力形成软件定义的算力资源池，既满足了自动驾驶客户对于资源分配灵活度的需求、实现对 AI 开发训练集群资源的整体调度和管理；

而通常的服务器都是两颗CPU配置一至多块GPU卡，CPU很容易被占满，占满后成为瓶颈，GPU业务往往只能使用多卡中的1到2块，剩余GPU全部闲置，并且业务在调用单块GPU的过程中也是短暂调用，不会长时间利用卡资源。虽然目前研究院服务器集群中CPU与GPU搭配的计算组合已实现高性能并行计算，但针对对GPU卡运行要求高的Omega及t-Navigator等软件，均是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化，GPU的利用率相比于CPU较低。

作为云基础软件企业，ZStack坚持自主创新，以“让每一家企业都拥有自己的云”为使命，推出自研架构的云操作系统，产品矩阵涵盖云平台/虚拟化、分布式存储、容器云平台、多云管理平台、超融合一体机、云原生超融合、数据库云平台等，全面覆盖数据中心云基础设施。云轴科技ZStack联合趋动科技推出GPU云原生超融合联合解决方案，旨在提供一种全面、可扩展的云原生GPU存算一体化解决方案，通过利用云原生超融合技术及GPU资源池化技术，助力企业客户。效益低：GPU的新卡和旧卡难以整合，设备的整体资源利用率有待提升；

资本市场对于趋动科技的发展充满信心——趋动科技成立两年多已经完成近亿美元的融资，顶级的投资机构持续支持趋动科技的发展，包括国开装备基金、沙特阿美旗下多元化风投基金Prosperity7 Ventures、元禾重元、招银国际、顺为、高瓴、嘉御、戈壁、讯飞和涌铧在内的国内外顶级VC正在见证趋动科技锐意进取的脚步。趋动科技作为软件定义AI算力技术的领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证。

资本市场对于趋动科技的发展充满信心——趋动科技成立两年多已经完成近亿美元的融资，顶级的投资机构持续支持趋动科技的发展，包括国开装备基金、沙特阿美旗下多元化风投基金Prosperity7 Ventures、元禾重元、招银国际、顺为、高瓴、嘉御、戈壁、讯飞和涌铧在内的国内外顶级VC正在见证趋动科技锐意进取的脚步。实际上虚拟化的性能和诸多因素有关，包括虚拟化的粒度、虚拟化接口的形式、虚拟化软件介入的频率、虚拟化软件的实现方式等等，而不是笼统地归因于内核态和用户态的表面差异。在我们的测试对比中，

双方已完成生态联合方案适配具体来说，联合解决方案的推出将为AI领域用户的基础设施建设带来以下改变。

得益于近些年发展得如火如荼的云原生技术、尤其是作为云原生技术底座的容器云技术的高速发展和产业化落地，业界发现，将GPU等算力资源容器化、资源池化，可以将算力的管理能力拓展到整个数据中心。作为国内为数不多掌握底层核心技术的容器云产品及解决方案提供商，谐云以深厚的容器云底层核心技术，不断推进Kubernetes相关核心组件的性能提升和场景适应性，在AI应用支撑、云边协同、多云管理等方面做了大量优化。

通过异构GPU资源池的能力，将不同厂商不同型号的异构算力资源统一纳管、统一分配、统一监控，通过对异构算力的灵活调度和动态分配，实现异构算力的合理规划，提升资源利用率的同时实现经济效益。所以最终GPU池化技术利用运行时的虚拟化实现将大卡转化成小卡，支持GPU细颗粒度共享，还能支持GPU资源的动态分配和自动释放，利用远程GPU功能打破物理服务器的边界，将GPU的管理和使用从单台服务器扩展到整个数据中心，实现了数据中心级GPU资源池需要的管理平面，能对整个数据中心的所有GPU统一纳管，统一监控告警，统一运维。

资本市场对于趋动科技的发展充满信心——趋动科技成立两年多已经完成近亿美元的融资，顶级的投资机构持续支持趋动科技的发展，包括国开装备基金、沙特阿美旗下多元化风投基金Prosperity7 Ventures、元禾重元、招银国际、顺为、高瓴、嘉御、戈壁、讯飞和涌铧在内的国内外顶级VC正在见证趋动科技锐意进取的脚步。趋动科技作为软件定义AI算力技术的领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证。

趋动科技携手麒麟软件打造基于银河麒麟操作系统的异构算力池化解决方案，共同探索AI领域新场景。人工智能技术作为数字经济发展的重要推手，在各行业业务场景中落地需要大量AI算力资源的有效保障。在IT基础设施普遍云化的今天，AI算力一方面需要通过软件定义的方式完成算力池化，实现资源敏捷交付和灵活调度，简化运维；另一方面，也需要满足来自政策和信息安全的安全创新转型要求。趋动科技OrionX AI算力池化软件通过软件定义异构算力，将物理异构算力硬件资源进行池化管理，使应用与物理硬件资源解耦合，。

AI数字人持续火热，业务应用前景广阔。相信在不久的将来，AI数字人业务将深度赋能各行各业。作为软件定义AI算力的技术领导者，趋动科技将一路同行，凭借算力池化技术持续赋能AI数字人业务的蓬勃发展。

资本市场对于趋动科技的发展充满信心——趋动科技成立两年多已经完成近亿美元的融资，顶级的投资机构持续支持趋动科技的发展，包括国开装备基金、沙特阿美旗下多元化风投基金Prosperity7 Ventures、元禾重元、招银国际、顺为、高瓴、嘉御、戈壁、讯飞和涌铧在内的国内外顶级VC正在见证趋动科技锐意进取的脚步。从目前业界的情况来说，内存池化的技术，不像GPU池化那样具备较多的实际客户案例，而且内存池化这种技术更多是大型数据中心需求的，也多在大型数据中心测试和实验。

通过自研的猎户座OrionX AI算力资源池化软件，趋动科技可以帮助客户构建数据中心级 AI 算力资源池，客户无需修改应用就能使用数据中心内任一台服务器的 AI 算力，并通过大幅优化应用部署，提升用户的资源利用率，为AI产业带来全新的算力供给模式。在第二届光合组织AI解决方案大赛上，趋动科技基于与海光硬件产品底座的适配和优化，打造的“信创全栈自主可控异构AI算力资源池”（以下简称“AI算力资源池”）方案，获得了本届大赛一等奖。“据统计，GPU的平均利用率不超过30%，会产生巨大的算力资源浪费。

文远知行致力于开发安全可靠的无人驾驶技术，应用场景覆盖智慧出行、智慧货运和智慧环卫，已进入自动驾驶商业化运营阶段，商业营收居全球同类企业之首，形成自动驾驶出租车(Robotaxi)、自动驾驶小巴(Robobus)、自动驾驶货运车(Robovan)、自动驾驶环卫车(Robosweeper)、高阶智能驾驶(Advanced Driving Solution)等五大产品矩阵，提供网约车、随需公交、同城货运、智能环卫、高阶智能驾驶解决方案等多种服务。GPU卡资源存在大量闲置、浪费的情况。

异构算力池化既支持底层AI算力基础设施全栈国产化，同时也支持国内厂商算力和国外厂商算力的异构池化管理，从而实现国产化的平稳、逐步替代；按需分配资源池内各类算力资源按需挂载，用完立即回收，资源高效流转；资源切分各类算力硬件资源抽象化，上层应用可以算力1%、显存1MB为基本单位进行异构算力资源的申请和使用，异构算力资源使用更加精细；资源聚合资源池内各类算力资源通过网络远程调用方式实现资源整合，形成算力资源池，一方面可突破单服务器硬件配置闲置，另一方面可减少资源池内硬件资源碎片；远程调用。