金山云联合MiniMax推出MaaS互信推理专区方案 解决大模型与数据互信难题

作为人工智能领域颇具里程碑式的进展，ChatGPT以其惊艳的表现，迅速掀起了行业热潮，使得大模型成为当下最为炙手可热的技术方向之一。但在大模型落地过程中，如何既能保障大模型使用方的数据安全，又能保护大模型提供方的部署安全？

基于行业需求，金山云立足自身深耕云赛道十余年所积累的技术和服务优势，推出MaaS（Model as a Service）互信推理专区方案。作为中国知名的中立云服务商，金山云推出该方案的目的是在大模型厂商、用户和金山云之间建立互信，以解决模型及数据的互信问题。

为了实现“互信”这个目标，金山云在技术思路和架构设计方面兼顾了基础设施层面（网络、存储等）的安全和云原生层面（容器等）的安全。

 金山云MaaS互信推理专区方案逻辑架构图

在金山云MaaS互信推理专区方案中，模型厂商的互信虚拟网络(Mutual Trust Virtual Private Cloud,以下简称互信VPC)是经过安全加固定制的（如上图中所示），通过私有连接(Private Link )与用户业务区域连通，经由堡垒机连接模型运维和开发区区域。互联网相关的EIP、NAT和Peering等功能都会被禁用。互信VPC提供了丰富的流量管控手段，可通过私有连接、对等连接、安全组、ACL等功能灵活控制VPC与公网、VPC与VPC、VPC内云产品的流量进出，既保证了网络的隔离，又能够按需提供网络的连通。 

在堡垒机层面，为了保障系统的安全性和合规性，同时也为了防范数据泄漏事件的发生，金山云在模型开发和推理区之间提供了行为与流量审计系统，用以跟踪和监控数据的流动，确保所有流量都可以被审计和验证，可及时检测和记录任何非法流量的存在，识别潜在的安全威胁或数据泄露风险。

在金山云MaaS互信推理专区方案中，互信VPC通过私有连接进行点对点的打通，在保障业务流量安全稳定的情况下，还具备一定的灵活性。访问VPC内服务的流量均在金山云内网转发，不经过公网，避免了通过公网访问服务带来的潜在安全风险。同时基于金山云内网建设的完备性，可提供大带宽、低延时的高质量通信服务。

此外，金山云对MaaS互信推理专区内所有的出入流量进行记录和行为审计，禁止所有未经审计的流量流出，定期向客户提供审计报告。专区内部有文件存储或对象存储写入的需求（如日志服务等），会在VPC内独立部署一套存储服务，对外不可读写。专区外可读写的对象存储KS3(Kingsoft Cloud Standard Storage Service)，其控制权收归于金山云，金山云通过权限控制保证该对象存储只接收自研存储网关Nas-J的读写请求，除此之外没有其他任何权限。

云原生层面，出于数据安全性考虑，在采用容器服务纳管GPU裸金属服务器实现容器化改造的同时，金山云搭建了基于数据层面“Read Only”容器只读环境，只将训练好的模型进行推理运算，并在推理后将结果输出到应用平台中呈现给最终用户。在模型推理期间，容器只读取推理模型，不会把企业用户的敏感数据暴露给模型厂商，能够打消企业用户对自身数据安全性方面的顾虑。

作为金山云重要的战略伙伴之一，目前，MiniMax与金山云积极推动大模型生态建设。为了提供持续稳定的模型能力服务，金山云MaaS互信推理专区方案已应用于“金山办公+MiniMax”的实践场景，保证了用户数据及模型的安全和互信。根据实际业务需求，MiniMax将持续对模型进行Fine-tuning优化，构建易用且规范的API接口和平台，同时不断对模型进行升级和优化。

金山办公-MiniMax实施架构图 

经过长时间积累，MiniMax是国内少有的同时拥有文本、语音、视觉三模态融合的通用大模型引擎能力，并打通产品全链路的创业公司。团队将前沿的人工智能引擎技术，应用于多维度多场景的交互中，并以此进一步加速和赋能模型的进步和迭代。

MiniMax于今年3月推出面向企业级的大模型解决方案，为企业和开发者提供领先的通用大模型能力，通过人工智能引擎技术底座帮助模型与业务流程顺利融合，保障稳定性及安全合规性。目前已接入数百家企业客户，打通办公协作、智能硬件、教育、医疗、客服等十余个行业场景。基于MiniMax出色的大模型能力，金山办公已经与MiniMax开展深度合作，未来会进一步推动大模型在办公领域的应用和快速落地。

在为金山办公和MiniMax提供服务的过程中，金山云积累了MaaS服务的经验。随着技术迭代升级，该方案后续将引入大模型多租户隔离、Finetuning训练和推理一体化专区等更多功能和业务模块，为越来越多大模型领域的企业提供服务。