Milvus在数派数据大模型业务中的实践

01.

写在前面

云南数派数据科技有限公司是一家总部位于美丽春城昆明的大模型创新企业，在深圳和昆明双城并立，设立了两个研发中心。我们的旗舰产品——SUPIEDT大模型开发平台，作为一款全生命周期的异构算力大模型开发平台，集一站式企业级大模型开发及服务运行等综合能力于一身。目前，该平台已成功落地全国10家人工智能算力中心，构建起强大的算力网络，能够向客户提供总量超过1000P的算力供应以及数十套大模型的行业解决方案。帮助客户在大模型时代，用得上、用得起、用得好。

02.

业务背景

在市场上除了大企业外更多的是咱们的中小企业以及个人，众多的中小企业正面临一种普遍的焦虑情绪，其核心担忧在于：若未能及时搭乘大模型技术的快车，恐将面临被时代浪潮淘汰的风险。然而，对普通企业来说，大模型入门门槛高，不知如何跨越这道门槛，融入这一技术革新潮流。鉴于当前这一现状，我们做了一些事情，把这个门槛降低，让每一位个人或企业都能够以极低的门槛将大模型在本地业务进行私有化的落地。

目前，我们业务正蓬勃发展，在全国范围内展现出了较强的竞争力。简而言之，我们是一个小而美的研发团队，我们也期望能够助力众多像我们一样的中小企业在大模型的时代尽早完成转身。

尤为值得一提的是，我们的平台将秉持开放共享的精神，实施开源策略，为更广泛的开发者及企业用户提供便利。

03.

Milvus与数派数据大模型业务的架构

Milvus作为业务架构中的核心模块，贯穿整个应用技术栈，起到了关键作用。整个应用可以架构在不同的硬件设备之上，对不同的数据进行向量化，将向量化的结果存入到Milvus向量库，由向量库为大模型以及应用提供数据。

04.

Milvus与数派数据大模型使用场景的结合