一次性把“AI 原生应用技术栈”说明白

AI 当前有多火爆不用介绍了，随着各个厂商的努力，也慢慢浮现了有价值的应用，以及为更好的服务 AI 原始应用准备的各种平台产品。今天这篇简单介绍下当前业界最新的 AI 原生应用技术栈。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

特别声明：AI 技术还在快速发展过程中，本文内容随时会过时。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

整体架构

简单画了一下目前 AI 原始应用技术栈的逻辑图，分好几层，接下来展开讲一下图中标识的①～⑤。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

① 大模型

AI 这次火爆，应该感谢OpenAI，ChatGPT 让大家看到 AGI 的希望。大模型技术还是 OpenAI 的 GPT 4.0 最领先。提供模型的有云厂商和创业公司。

• 国内大模型主要有：

  • RNIE 4.0（文心一言），百度出品

  • 通义千问，阿里出品

  • 盘古大模型，华为出品

  • 星火大模型，科大讯飞出品

  • Baichuan 3，王小川创业公司百川智能

  • abab 6.5，MiniMax出品

  • GLM-130B，智谱 AI

  • Kimi， 月之暗面（Moonshot AI）出品，主推 2C 应用 Kimi，长文本有特色

  • Yi-34B，零一万物，李开复老师创业公司

• 海外大模型主要有

  • GPT 4.0，OpenAI 出品，背后金主爸爸是微软

  • Google Gemini 1.5，刚刚Google next 2024大会发布

  • Claude 3，背后金主爸爸是 AWS

  • Llama-3，meta 开源，开源最强模型

阿里巴巴董事长蔡崇信在一个公开访谈中提到，国内整体实力比海外差，至少1～2 年以上，国内大公司创业公司卷模型的多，卷应用的少，相反海外创业公司卷应用更多。从而看出两边商业环境，思路差距还是比较大。

② Model Builder

model builder 主要是大模型部署，精调，推理服务部署等一系列工具链，让用户很容易把大模型用起来。

主要还是云厂商提供这块的服务，关于这部分的功能划分不完全一样。

• 百度智能云 Model builder，复制模型管理，评估优化，提供模型调用，包括推理服务部署等。

• AWS Bedrock 负责基础大模型提供服务

  ‍

• Google Vertex AI ，包含了三部分功能，Model Garden，Model Builder，Agent Builder等等，是一个大的品牌。

• Azure 主要有两块服务：

  • OpenAI Service，提供 GPT4，GPT3.5，embedding 等模型服务

  • Azure AI Studio 第三方模型服务，如Llama

③向量数据库

生成式人工智能技术发展带动了大规模预训练模型的广泛应用，向量数据库成为了整个发展链条中的重要一环。人工智能和机器学习可以将非结构化数据（文本，图像，视频等）转换成数学上的向量表示。向量数据库正是一种专门用于存储和检索向量数据的数据库，向量数据库实现对向量的处理从而实现了非结构化数据的检索和相似性计算。对于大模型来说，向量数据库意味着更高效、更精准的模型应用。

借着大模型崛起这股东风，众多向量数据库厂商也获得了资本的青睐。去年上半年，荷兰 AI 原生向量数据库厂商 Weaviate 获得 5000 万美元 B 轮融资；美国明星向量数据库厂商 Pinecone 宣布筹集了 1 亿美元的 B 轮融资。这些资本驻足的背后，是向量数据库的关注度已经达到了前所未有的高度。

那么，向量数据库为何会受到如此高的关注？那就要从向量数据库对于大模型的助益来说起。

大语言模型存在知识更新不及时、会产生幻觉、无法具备特定行业或私有知识，以及难以实现安全回答等问题。通过引入向量存储模块作为大语言模型的长期记忆体，通过向量存储模块中数据的反馈和干预，能够以较低的成本解决上述问题。

正是由于向量数据库在大模型应用中的显著优势，越来越多的厂商开始推出自家的向量数据库产品。

• 国内

  • 百度向量数据库

  • 腾讯向量数据库

  • 开源的 milvus（商业产品 zilliz）

• 海外

  • pinecone

‍

④Agent builder & ⑤App builder

Agent 智能体是个时髦概念，吴恩达最近的预测通过智能设计，用 GPT 3.5 就能达到 4.0 的效果。AI Agent 和大模型的区别在于，大模型与人类之间的交互是基于prompt 实现的，用户prompt 是否清晰明确会影响大模型回答的效果。而AI Agent的工作仅需给定一个目标，它就能够针对目标独立思考并做出行动。从原理上说，AI Agent的核心驱动力是大模型，在此基础上增加规划（Planning）、记忆（Memory）和工具使用（Tool Use）三个关键组件。 App builder 的范围要更大一些，帮助开发者和应用构建 App，Agent 理论上是一种App。不过现在能直接通过工具就能构建的 App 类型还比较少，前面比较流行的低代码平台，本质也是帮助用户构建企业里面流程管理 App，也是其中一种。

• 国内典型的有

  • 百度有 Agent builder，主要是 2C 的 Agent 多一些，还有 App builder 做 2B 的方向。

  • 字节 coze

  • google 在Vertex AI也包含了 Agent builder

• 这类的builder 核心提供三个能力

  • 工作流编排：方便用户比较快的把业务逻辑进行编排，基本不用开发或者很少的开发就可以完成一个 App 的业务。

  • 各类的插件：比如各种embedding 模型，向量插件，搜索插件等等，用于工作流编排

  • 一键发布的到分发渠道的能力：构建了 App要发布到各类平台，市场让用户可以下载使用，builder 一般也提供这个打通的能力。

    ‍
    

上层的应用现在有各类的助手如文心一言，字节豆包，kimi 等等，就不展开讲了，后面单独来开一篇介绍。

好了，今天对 AI 原始技术栈就简单介绍这些。大模型如火如荼，相关技术日新月异，有兴趣的同学还可以看我前面的一些文章。

-----------------

典型向量数据库 RAG E2E 能力

百度向量数据库 VectorDB 性能报告

向量数据库 Q&A

大模型时代，AI 和数据库技术会碰撞出什么新火花？

历时 5 个月从零到一研发一款数据库产品，这些坑他们已经踩过了 ｜InfoQ 独家专访百度智能云向量数据库团队