openFuyao的博客

原创 openFuyao技术讲堂 | AI推理权重分发加速

大模型推理服务在Kubernetes集群中部署时，冷启动往往是一个绕不开的瓶颈。数十甚至上百个GB的权重需要下载到推理节点，Pod启动后只能等待权重就绪，浪费GPU算力时间。当多个节点同时部署同一模型时，每个节点独立下载完整权重，不仅启动慢，更给网络带宽带来巨大压力。openFuyao社区针对这一痛点，推出了Weight-Dispatcher----面向AI推理场景的权重预热与分发组件。

原创 openFuyao技术讲堂 | 众核编排（Many-Core Orchestrator）

在众核混部集群中，离线业务对共享硬件资源的“无声侵占”，如LLC缓存冲刷、块设备I/O队列挤占、内存回收压力飙升-----往往成为在线业务长尾延迟抖动的根源，而这些干扰Cgroup无法完全隔离。openFuyao社区针对这一痛点，推出了Many-Core Orchestrator（MCO，众核调度编排系统）。MCO面向众核混部集群，提供宿主机干扰指标采集、节点干扰分析、Volcano干扰感知调度，以及可选的Kata Containers虚拟机级隔离能力。

原创 openFuyao技术讲堂 | 容器虚拟机共管

在云原生浪潮席卷IT行业的今天，仍有大量传统应用依赖虚拟机运行–尚未完成容器化改造的企业系统，或是无法容器化的专用服务。如何在统一平台上优雅地管理这两类截然不同的工作负载？KubeVirt由此诞生。KubeVirt作为由云原生计算基金会（CNCF）赞助的开源项目、红帽OpenShift虚拟化技术的核心底座，旨在将传统虚拟机（VM）工作负载无缝集成到Kubernetes生态中。

原创 openFuyao 社区 2026年8月-9月 运作报告

2026年8月至9月，openFuyao社区技术持续创新、伙伴阵容不断壮大、标杆案例陆续涌现，产业生态加速成势。**技术演进：**v26.09社区发行版上线，新增Agent沙箱调度能力，并发创建调度吞吐量超3000实例/秒；增强NPU精细化管理与灵活调度、新增超节点拓扑亲和调度能力；升级InferNex部署与推理能力，多轮对话场景较基线首Token时延最高降低45.8%。新增、合入近20项技术提案，围绕Kubernetes升级、声明式集群升级、Agent沙箱与超节点能力持续推进技术演进。​生态进展：​。

原创 新增Agent沙箱调度能力！openFuyao v26.09社区发行版上线，AI原生基础设施能力进一步升级

围绕NPU算力卡切分和动态资源配置，通过vNPU和NPU DRA能力，实现昇腾 NPU 的精细化管理与灵活调度；同时新增超节点拓扑亲和调度能力，有效提升业务性能。InferNex进一步优化大模型部署能力与推理性能，多轮对话场景相比基线首token时延最高降低45.8%，总吞吐量最高提升67.5%。新增Agent沙箱调度能力，实现沙箱并发创建调度吞吐量>3000 实例/s。

原创 Agent Sandbox SIG开发者集结！与openFuyao技术专家一起构建基于kubernetes的高安全MicroVM级隔离环境

随着大语言模型（LLM）与AI Agent的爆发式增长，Agent被赋予越来越多的“操作权”——从编写代码、执行脚本，到调用系统API、操作云资源。

原创 AI推理性能优化解读：openFuyao InferNex如何实现TTFT直降

InferNex是openFuyao面向多样化算力&灵衢高性能总线协议的云原生分布式推理加速套件，通过智能路由、PD分离弹性伸缩决策框架、分布式KVCache管理、推理可观测四大子系统以及端到端一键式部署实现端到端性能提升。在万卡集群、日处理万亿Token的今天，传统推理架构在KVCache高效复用、长上下文显存管理、Prefill/Decode资源协同等方面面临新的技术瓶颈。毫秒级延迟抖动和显存资源浪费都会在大规模推理场景下被持续放大，进一步推高运营成本并影响用户体验。

原创 openFuyao 社区 2026年6月-7月 运作报告

2026年6月至7月，openFuyao社区技术不断突破，贡献稳步积累，各项运营与技术活动有序推进。**技术演进：**openFuyao v26.06版本发布，NPU DRA适配910、310等更多设备，InferNex AI推理加速性能再突破，TTFT降低55%；新增、合入近10项技术提案，涵盖NPU DRA、NPU软切分能力、AI推理资源优化等多方面。​技术演进：​。

原创 openFuyao社区基于KubeVirt实现容器与虚拟机统一编排管理能力

在云原生浪潮席卷IT行业的今天，仍有大量传统应用依赖虚拟机运行--尚未完成容器化改造的企业系统，或是无法容器化的专用服务。如何在统一平台上优雅地管理这两类截然不同的工作负载？KubeVirt由此诞生。KubeVirt作为由云原生计算基金会（CNCF）赞助的开源项目、红帽OpenShift虚拟化技术的核心底座，旨在将传统虚拟机（VM）工作负载无缝集成到Kubernetes生态中。

原创 openFuyao社区Agentic Ops SIG正式成立！组队构建面向AI云原生的智能运维技术体系

面向日志、指标、分布式链路、告警、事件、资源拓扑、配置变更和发布记录等多源异构运维数据，研究统一的对象定义、属性规范、关联关系和语义表达方式。通过对应用、服务、实例、容器、节点、调用关系和变更事件等运维实体进行标准化建模，打通不同类型数据之间的关联，形成面向智能分析的统一上下文，为异常检测、影响分析、根因定位和智能体推理提供一致、完整且可解释的数据基础。系统规模持续扩大，日志、指标、链路、事件和变更等运维数据快速增长，依赖人工经验完成异常发现、问题定位和故障处置的传统运维模式面临较大挑战。

原创 openFuyao助力鲲鹏超节点搜推案例入选《超节点定义与实践白皮书》，构筑AI Infra底座

作为鲲鹏超节点的AI Infra底座，openFuyao助力实现高速通信能力的容器化落地，为方案在 AI Native 环境下的部署提供标准化支撑。面向未来，openFuyao将持续拓展池化硬件接入边界，推进池化SSU、DPU等新型资源的统一编排，探索超节点架构下的容器热迁移能力优化，并向语言运行时、云化中间件深化适配，为更广范围的AI Native业务释放硬件架构红利，推动高性能方案的规模化落地。此次应用案例的落地，既验证了超节点架构在互联网搜推场景的价值，更证明了openFuyao底座的通用性。

原创 openFuyao亮相LEAP East 2026国际科技与信息技术展

现场团队与香港理工大学、九章云极、谐云科技、HEXORY等多家高校、企业代表展开深入技术探讨与业务交流，各方围绕AI算力推理、开源生态共建等相关方向交换思路、互通经验，为后续常态化交流与潜在合作铺垫了良好基础。openFuyao展台全面呈现社区发展与技术架构，重点展示InferNex AI推理加速软件套件，该套件分布式KV缓存调度、低时延推理优化、算力资源高效混部等核心技术能力，可面向异构智算场景提供轻量化、高性能AI推理解决方案，适配业务对时延、吞吐与资源利用率的多重要求。

原创 统信云基础设施管理平台V3.0发布，基于openFuyao容器平台和多样化算力使能与调度能力，支撑云原生应用和 AI 推理场景

围绕虚拟化、容器云、分布式存储和一云多芯治理能力进行升级，重点提升标准化交付、生产高可用、统一纳管和持续演进能力，助力用户以更低成本建设可落地、可验收、可持续运维的私有云基础设施。IO 路径精简、故障域隔离、存储卷自适应调优等能力，将 Ceph 优化为企业级交付标准，为云硬盘、镜像、快照、备份及容器持久化数据等场景提供稳定可靠的存储服务。从 ISO 镜像创建云主机、网络配置，到告警与审计，实现全链路优化。在真实服务器环境中快速体验云主机、镜像、云硬盘、虚拟网络、安全组、监控、审计和可视化部署等基础能力。

原创 突破！openFuyao v26.06版本发布！NPU DRA适配更多设备，InferNex性能再提升，TTFT降低55%

openFuyao v26.06 社区发行版正式上线！AI推理加速场景， InferNex 性能再突破，TTFT降低55%，总吞吐量平均提升32%，新增权重分发组件，大幅缩短模型冷启动耗时；资源调度层面，基于KubeVirt实现鲲鹏的虚拟机与容器共管能力，并整合众核调度编排，提升安全混部密度；多样化算力接入层面，进一步强化NPU DRA能力，支持更丰富的设备类型；另外引入声明式组件升级架构，内置自动化合规扫描工具，实现运维效率和安全性双提升。

原创 喜报！openFuyao生态五大案例入选国家级 “2025年软件和信息技术服务业示范案例“

基于 openFuyao 云原生底座打造的 "面向绿色农药创制的智能研发加速平台"，构建 "三算一体" 技术架构，在同一体系内协同支撑通算、智算、超算能力，将高性能计算与 AI 技术深度融合。推出的 "openFuyao 商业发行版"，以 ACP 企业级云原生平台为基础，依托 openFuyao 社区算力调度能力，实现对 NVIDIA、昇腾、昆仑芯等异构 GPU 资源的统一管理，提供模型训练、微调、推理全生命周期服务。，充分展现了 openFuyao 开源生态的技术成熟度与生态伙伴商业落地成效。

原创 openFuyao 社区 2026年3月-5月 运作报告

2026年3月至5月，openFuyao社区在稳步发展的基础上，持续推进技术演进与生态协同共建。技术演进方面，发布超节点接入与使能等关键技术；v26.03版本发布，InferNex AI推理加速能力全面升级，平均首token时延降低30%，端到端时延降低10%；v26.06版本测试版本开展功能验证中；新增近20项技术提案，涵盖基础设施、部署工具、AI推理多个方向。生态进展方面，京东、移动云、灵雀云、工商银行等成员单位在KADC 2026 openFuyao分论坛分享社区技术落地实践。

原创 openFuyao InferNex：云原生分布式 LLM 推理加速套件——从生产痛点到算力的极致释放

大模型推理正从“单卡部署”迈向“百卡集群服务”，但超长上下文 TTFT 延迟高达十秒级、异构算力利用率不足 50%、集群单点故障恢复分钟级三大痛点制约规模化落地。

原创 openFuyao使能灵衢超节点：：让容器业务丝滑释放节点能力

在AI算力规模持续扩展的背景下，灵衢超节点（UB）通过共享内存、内存借用、URMA高速通信等机制，重构了计算节点内外的数据交互范式。然而，K8s原生资源模型仍以单节点为边界，缺乏对超节点总线架构及新型编程模型的原生支持，无法直接释放UB在性能与效率上的优势。为此，openFuyao在K8s体系内构建了面向超节点的系统级使能能力，涵盖设备接入、网络通信、存储与共享内存抽象，以及基于总线拓扑的调度增强等关键组件；

原创 在Agent时代，成本与性能权衡成为首要考量：采用以内存缓存为中心的全新拓扑架构，还是坚持以不断提升算力为核心的计算中心架构？

关键在于推理引擎能够对外开放出更多的接口，让 Agent 应用能够按需干预，即让 Token 柔性工厂根据应用的实际需求来制造，而不是进行固定化生产。openFuyao社区前景广阔，凭借硬件与应用的亲和力，有望做出世界领先的成果。“计算是免费的，数据搬移是昂贵的”。未来会以KVcache等中间结果缓存为中心，算力提升要求缓存带宽同步增长，无论算力如何提升，只要缓存/IO的读取速度跟不上，整体性能就被卡住。算力不可能无限推高，通过更巧妙的数据搬移来实现更高的缓存命中率，是一条非常经济可行的路线。

原创 Agent对今天的技术有什么具体要求?

以前的纯推理场景，算力瓶颈主要在GPU侧，在Agent场景下，必须做CPU和GPU的协同调度，CPU能力跟不上，直接影响Agent的整体体验。“Token之上、应用之下，全是 Agent”，向上要与人对齐，向下要与算力对齐，这两个问题目前远未解决。人可干预、筛选和删除记忆，以保障人机协作可控对齐。原来K8s对CPU等资源的抽象，如今面临GPU、Agent等新主导负载，是否应将它们纳入抽象视野尚不明确，因此实验室选择先从CPU-GPU混部、亚秒级时隙对齐、异构算力网络等具象研究入手，再回头思考抽象问题。

原创 AI Native基础设施的目标形态和它存在的一些挑战有哪些？K8s驱动异构算力面临挑战，下一代的K8s是渐进式优化，还是革命式的驱动AI的发展

在AI时代，K8s对硬件的抽象仍然具有很强的延伸性和弹性，但在调度和敏捷性方面需要适当地“退化”。一种选择是：让K8s回归底层资源池的基础，在其之上，构建一层更加亲和AI工作负载的敏捷管理层，专门负责Quota控制、沙箱隔离保障以及精细化资源配给。这种分层架构更贴合AI场景的实际需求。

原创 openFuyao 深度参与 KADC 2026，为广大开发者提供集群算力高效释放的前沿技术与落地实践

本场直播openFuyao云原生技术专家与openEuler三位技术专家为开发者介绍了与在构筑Agent Infra方面的最新技术进展，包括Agent开发工具，超节点沙箱运行时，全时覆盖沙箱安全技术，全链路可追踪的沙箱观测技术以及基于KVCache数据亲和的token调度机制，大幅度提升Agent的安全性和运行效率。在openFuyao分论坛中，社区技术委员会主席与来自京东、移动云、天翼云、灵雀云、CNCF社区、华为的。的解决方案，也为AI原生时代的多样化算力集群软件生态发展注入澎湃动能。

原创 KADC 2026 | openFuyao分论坛大咖云集，深度分享AI原生时代多样化算力释放实践及探索

[北京，2026年05月23日] 面向开发者一年一度的技术盛典——鲲鹏昇腾开发者大会2026（KADC 2026）在北京中关村国际创新中心圆满结束。大会期间，openFuyao多样化算力集群软件开源社区成功举办专题分论坛，汇聚社区行业用户、核心开发者及生态伙伴，共同分享社区最新技术演进成果与落地实践案例；并围绕AI原生架构创新方向组织Panel研讨，为开发者提供技术思路与实践启示，以加速产业发展，繁荣集群软件生态。

原创 KADC 2026 | openFuyao亮相鲲鹏昇腾开发者大会，带你玩转社区前沿技术

管理集群”统一管控“工作负载集群”（Kubernetes on Kubernetes）的架构，以原生声明式API实现集群全生命周期管理，确保集群/节点状态一致。openFuyao社区还召开了筹备委员会线下工作会议，围绕筹备委员会履职审视、年度重点工作及协同计划展开研讨，明确了下一阶段社区治理规划与技术。多节点高可用部署、集群弹性伸缩、Kubernetes原地升级、多集群统一管理等核心能力，提升PaaS底座的稳定性与运维效率。安全隔离与性能，将NPU算力升级为“可隔离、可迁移、可治理”的安全算力单元。

原创 以开源之力，突破多样化算力困局——openFuyao开源一周年背后的故事

openFuyao开源一周年，汇聚300+开发者、30+成员单位、成立16个SIG，实现多项关键技术创新突破，一系列成果相继在互联网、金融、运营商等行业规模化应用，助力商业发行版伙伴交付40+项目，驱动产业算力效能跃升。站在一周年阶段性成果回望，故事的起点，始于一些 “山”。

原创 openFuyao技术讲堂 | Mooncake Store热点缓存优化

Mooncake 采用以 KVCache 为中心的解耦架构，将Prefill集群和Decode集群分离，并利用集群中未充分利用的 CPU、DRAM 和 SSD 资源来实现 KVCache 的解耦缓存。Mooncake Store热点缓存特性的核心思想是在Mooncake Client缓存远端被频繁访问的KVCache数据切片。能够显著减少热点数据的跨节点网络传输开销，优化get和批量get操作的性能。

原创 openFuyao技术讲堂| AI推理赫尔墨斯路由（Hermes-router）

Hermes-router是openFuyao社区基于Kubernetes（K8s）打造的AI推理智能路由方案，用于接收用户推理请求并转发至合适的推理服务后端。Hermes（赫尔墨斯）是希腊神话中众神的信使，以敏捷和可靠著称。Hermes-router 以此为名，寓意成为云原生环境中 AI 推理请求的智能信使，精准高效地完成每一次路由选择。

原创 openFuyao技术讲堂 Cluster API安装指导

Cluster API是一个Kubernetes子项目，通过声明式API和控制器模式实现Kubernetes集群的生命周期管理自动化。

原创 openFuyao技术讲堂 | AI推理鹰眼（Eagle Eye）

Eagle Eye是​​，旨在提供从业务运行态、系统运行态到硬件健康的​​。该体系融合了与推送机制，既能支撑扩缩容决策的趋势分析，也能满足智能路由对秒级数据更新的需求。通过独立的硬件健康诊断模块，实现对NPU、温度、功耗、错误码等底层指标的持续监测与异常识别，构建“”的闭环监控能力，为AI推理系统的稳定性、性能优化与资源调度提供坚实的数据支撑。

原创 平均首token时延↓30%，端到端时延↓10%！openFuyao v26.03版本上线，InferNex AI推理能力全面升级

openFuyao v26.03 社区发行版正式上线！InferNex项目AI推理能力全面升级，新增弹性伸缩与决策系统，优化分布式KVCache管理能力，平均首token时延降低30%，端到端时延降低10%。同时围绕昇腾NPU DRA适配、超节点生态使能、机密容器等完成系统性升级。

原创 openFuyao亮相KubeCon Europe 2026 携InferNex套件深耕AI云原生推理领域

openFuyao社区项目InferNex重磅亮相国际技术舞台KubeCon Europe 2026，向全球开发者传递AI推理加速领域核心突破与技术成果

原创 openFuyao技术讲堂 | 快速安装管理面

本文将带您快速体验从安装引导集群、安装业务集群到使用openFuyao管理面的全流程操作。

原创 openFuyao携生态伙伴亮相华为中国合作伙伴大会2026

博云基于openFuyao打造开放创新、开源兼容的发行版，依托openFuyao社区强大的组件支撑与自身多年的云原生技术积累，构建起高性能、高可靠、高易用的基础设施平台，具备稳定、灵活、平滑、高效等核心优势，更在苏州某上市银行项目中，以“鲲鹏芯片+麒麟操作系统+博云openFuyao发行版”的组合，搭建稳定云底座，赋能多场景业务落地，凸显实践价值。同时依托openFuyao的异构算力管理能力，实现CPU、GPU、NPU等多种算力资源的统一纳管与调度，提升资源利用率，支撑多样化AI推理与计算任务灵活部署。

原创 打破传统HPC桎梏！广电五舟基于openFuyao推出自研算力容器平台，开创性实现HPC与AI双栈融合架构

构建“环境即代码（EaC）”全栈交付体系，用户只需提交一份YAML声明，标注镜像、依赖、硬件规格等信息，平台便自动完成环境拉取、资源预分配，以及JupyterLab、VS Code Server等IDE的秒级实例化，彻底告别繁琐配置。在科研创新冲刺、工业仿真提速的当下，高性能计算（HPC）早已成为不可或缺的核心基础设施，但传统HPC架构存在资源浪费、配置耗时、调度卡顿、运维繁琐等问题，这些瓶颈不仅推高了算力成本，更在无形中拖慢了创新的步伐。优势4：极简运维智能管控，压力直降90%

原创 openFuyao 社区 2025年12月-2026年2月 运作报告

截至2026年2月，openFuyao社区在全体成员的共同努力下持续突破，取得一系列新进展。v25.12社区首个LTS版本企业级AI云原生平台正式上线，适配K8s1.34版本，InferNex升级（智能路由再提升、Eagle Eye监控组件新发布）、安装部署焕新（大版本升级、易用性提升），超大规模集群纳管与调度能力全新落地。并推出v26.03首个测试版本供生态伙伴验证。技术提案涵盖安装部署、AI推理加速、超节点生态使能、鲲鹏机密容器等多个领域，持续强化AI云原生场景的性能释放能力。

原创 openFuyao 社区 2025 年度报告，致谢所有同行者！

原创 参与openFuyao嘉年华，体验开源开发流程，领视频年卡会员

基础任务：从SIG会议参与、邮件列表互动、文档捉虫中任选1项，解锁社区核心玩法 进阶任务：从Issue互动、PR审核、BUG修复、社区推广中任选1项，产出社区贡献 反馈任务：围绕官网体验、使用痛点、改进方向分享建议，助力社区持续优化

转载 转载 | 博云openFuyao商业版率先完成麒麟V11全主流芯片认证，国产化适配再升级

博云作为openFuyao社区筹备委员会及技术委员会成员单位、商业发行版伙伴，积极推动AI云原生技术的自主创新与算力生态的繁荣发展，持续推进社区技术商业化落地。近日，博云openFuyao商业版已完成麒麟V11全主流芯片认证。

原创 openFuyao 社区 2025 年 11 月运作报告

​2025年11月，openFuyao社区持续稳健发展，在技术、生态等方面均取得一些进展，展现出良好的技术创新力与蓬勃的社区活力。技术演进方面，v25.12版本已完成社区特性导入，并进入主体开发阶段。多项关键特性取得实质性进展：社区发行版支持超大规模集群；社区支持大版本升级；K8s组件实现自定义签发策略和K8s组件独立kubeconfig；高性能AI推理服务化框架子系统构建和集成。本月新增提案：自动化性能测试工具；AI推理可观测；面向PD分离场景的基于RoleBasedGRoup的动态扩缩调度方案；

原创 openFuyao携手上海交通大学，共建产学研协同创新

实践环节，两位技术专家引导学生体验从编写Issue到Pull Request提交的完整贡献流程，将“开放、协同、共享”的开源理念，转化为同学们可感知、可参与的实践操作。授课结束后，交流的热度并未消退。2025年12月5日，应上海交通大学计算机科学与技术系副教授、系副主任林云教授之邀，openFuyao社区技术专家团队走进这所百年学府，以“开源的力量：从全球浪潮到openFuyao社区实践”为主题，为硕士研究生的课堂注入了来自产业前沿的开源活力与实践成果。未来，openFuyao社区期待。