MaaS平台_火山方舟_简单介绍

火山方舟MaaS 平台亮相：

集成七款大模型，

抖音等业务团队已试用

8 月 16 - 19 日，

与蔚来李斌、面壁智能李大海，

及工商银行、交通银行、华夏银行等 100+ 行业专家相聚 FCon x AICon！

---

6 月 28 日，

火山引擎发布了大模型服务平台火山方舟，

面向企业提供模型精调、评测、推理等全方位的平台服务（MaaS，

即 Model-as-a-Service）。

---

据悉，

目前火山方舟集成了百川智能、出门问问、复旦大学 MOSS、IDEA 研究院、澜舟科技、MiniMax、智谱 AI（以拼音首字母排序）等多家 AI 科技公司及科研院所的大模型，

并已启动邀测。

• 百川智能
• 出门问问
• 复旦大学MOSS
• IDEA研究院
• 澜舟科技
• MiniMax
• 智普AI

大模型发展判断

大模型市场：少数超大规模 + 多个中等规模 + 更多行业垂直

企业应用模式：1个主力模型 + N个外部模型

对于中国的大模型发展，

火山引擎有下面几个关键判断：

第一，

未来的大模型市场将是一个百花齐放的多模型生态。

---

由于安全信任、行业壁垒和成本等因素，

这个生态将同时并行存在几个少数的超大规模的大模型、多个中等规模的大模型和更多个行业的垂直模型。

---

同时，

开放的市场竞争和模型多样性又会进一步促进整个技术发展。

---

第二，

企业，

尤其是行业头部企业，

自身对于大模型的应用，

将是1 + N的应用模式，

即：

企业通过自研或者与三方模型服务商的深度合作，

形成企业自身的一个主力模型；

在这个主力模型之外的不同场景中，

企业还会同时应用 N 个外部模型。

---

基于以上判断，

火山引擎定位于为模型生产端和模型应用端提供底层能力和产品方案，

解决计算、安全、成本等通用问题。

火山方舟

据悉，

火山方舟由以下几个核心部分构成：

模型广场

第一个是模型广场，

许多模型提供商会提供不同版本/不同尺寸的模型。

---

企业可以直接与这些模型交互。

---

在火山引擎上可以直接调用推理 API，

接入生产环境。

---

适合进行快速分析和 AB 实验。

模型评估

第二个是模型评估。

---

企业要把大模型用好，

首先得想好自己的业务需求，

并为之设计一套可量化的评估指标，

并在不断对比/评估/试验的过程中，

积累评估数据、快速迭代。

---

要给多样化的业务场景和业务入口，

挑选不同的、最合适的模型。

模型精调

第三个是模型精调。

---

对于要求较高的垂直场景，

用户可能需要利用自有数据和领域非公开数据，

进行持续训练，

并且建设和积累自己的精调数据集。

---

对精调的良好运用也有益于对更小尺寸模型的利用，

在特定工作上达到逼近通用大模型的水平，

由此降低推理成本。

---

火山方舟可以对一个模型或多个基座模型同时发起训练任务，

同时实时跟踪模型精调的效果指标和运行情况。

安全和信任机制

第四个是安全和信任机制。

---

据悉，

火山大模型服务平台提供了基于安全沙箱、硬件加密和联邦学习的多套大模型安全与信任解决方案。

---

吴迪表示，

火山方舟还在探索基于 NVIDIA 新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案。

---

随着平台不断迭代，

企业对大模型的资源供应将更为弹性/动态和廉价。

---

火山引擎通过流量错峰、训推一体等手段，

将进一步降低推理的单位成本。

---

吴迪表示，

这也是在大模型时代，

上云所带来的重要优势。

---

除此之外，

火山引擎将和大模型提供商联合进行深度的性能优化，

包括火山引擎知名的veLego 优化框架，

还包括火山引擎将不断和大模型提供商分享/共创的诸多量化/batching/调度等优化技术。

velego优化框架，这个东西是找不到的。

企业考虑的问题

火山引擎总裁谭待认为，

除了算法、数据和算力外，

企业做大模型还需要考虑以下问题：

安全与信任

---

这里的安全和信任是一种双向信任。

---

大模型服务商除了考虑模型方案和代码不被泄露，

也需要考虑到各个应用企业的安全问题，

保障企业在调用大模型时自己的 prompt 或精调数据不会被泄露。

---

性价比

---

之前大家处于模型研发的早期，

更多考虑的是模型预训练阶段的成本问题，

但后期模型的推理计算才是成本更高的环节。

---

只有推理成本做到足够低，

才能让大模型真正被广泛使用。

---

生态系统

---

生成式模型并不知道自己擅长什么、不擅长什么，

需要我们告诉他们自己的优劣势，

并且在他们不擅长的地方为其提供下游的模型、API 和插件，

帮助他们更好地解决问题，

帮助大模型长出手和脚。

---

火山引擎智能算法负责人吴迪表示，

与其他很多云厂商单纯提供算力、基础底座不同，

火山方舟平台一方面会在资源和优化方面跟模型提供商进行非常深度的合作，

长期致力于降低推理成本，

另一方面，

火山算法团队会和客户做重点的应用共建和应用落地，

催化整个大模型、大算力在千行百业的落地速度。

---

据悉，

抖音集团内部已有十多个业务团队试用火山方舟，

在代码纠错等研发提效场景，

文本分类、总结摘要等知识管理场景，

以及数据标注、归因分析等方面进行探索，

利用大模型能力促进降本增效。

代码纠错

文本分类

总结摘要

数据标注

归因分析

---

这些内部实践也在快速打磨火山方舟，

推动平台能力的进一步完善。

---

火山方舟的首批邀测企业还包括金融、汽车、消费等众多行业的客户。

---

谭待坦言，

火山方舟还在起步阶段，

工具链和下游应用插件需要持续完善，

平台还将接入更多大模型，

并逐步扩大邀测范围，

与企业客户共建开放合作的多模型生态，

加速大模型在各行各业的应用落地。

---

公众号推荐：

AIGC 技术正以惊人的速度重塑着创新的边界，

InfoQ 首期==《大模型领航者AIGC实践案例集锦》==电子书，

深度对话 30 位国内顶尖大模型专家，

洞悉大模型技术前沿与未来趋势，

精选 10 余个行业一线实践案例，

全面展示大模型在多个垂直行业的应用成果，

同时，

揭秘全球热门大模型效果，

为创业者、开发者提供决策支持和选型参考。

---

关注「AI前线」，

回复「领航者」免费获取电子书。

2023-07-03 16:18

3412

文章版权归极客邦科技InfoQ所有，

未经许可不得转载。