基于LLM大模型的向量数据库企业级应用实践

▼最近直播超级多，预约保你有收获

近期直播：《基于 LLM 大模型的向量数据库企业级应用实践》

 —1—

为什么说向量数据库是每个人必备的技能？

众向周知向量数据库是专门用来存储和查询向量的数据库，其存储的向量来自于对文本、图片、语音、视频等的向量化。与传统关系型数据库（比如：MySQL）相比，向量数据库可以处理一切非结构化数据（图像和音频等）。在AI 智能时代，LLM 大模型的基础底座就是构建在向量形式之上。

除此之外，还有3点需要掌握向量数据库技能的原因：

第一，在AI智能时代不懂向量数据库，就好比在互联网时代不懂关系型数据库一样，比如 不懂MySQL。

第二、向量是AI智能时代的一切基础，比如：ChatGPT的预训练、微调、在线查询等环节都会使用到向量。

第三、万物都可以向量化，比如文本、图片、音频、视频等都可以向量化。

— 2 —

向量数据库的技术架构和选型

向量数据库为了提供更高的性能和更稳定的服务，会采用弹性微服务分布式高扩展分层架构，按照请求生命周期，划分为接入层、计算层、存储层（如下）。

接入层对用户的 CRUD 请求进行翻译转换，并提供多种类型的查询接口（比如：标量查询、向量查询、自然语言查询等）。

计算层对用户的 CRUD 请求进行标量/向量计算，包括数据的 Embedding 向量化、向量分割、向量相似度计算、向量数据召回、向量结果精排返回等，基于向量的计算是比较消耗资源，采用 GPU 机器来加速。

存储层是向量数据库最重要的一层，提供标量/向量的持久化存储，包括对象存储（Object Store）、键值对存储（Key-Value Store）、向量化存储（Vector Index）。

目前市面上向量数据库百花齐放百家争鸣，国产的有 Milvus、Tencent Cloud VectorDB、Zilliz Cloud 等，海外有 Pinecone、Redis、FAISS、PgVector、Elasticsearch Cloud等。

如何选型？一切脱离业务场景谈向量数据架构选型都是耍流氓，今晚20点直播我们会深度聊聊这个话题，欢迎预约。

—3 —

向量数据库的有哪些使用场景？

第一、AI 智能时代，向量是一切的基础，大模型的应用离不开向量技术和向量数据库。

第二、LLM 大模型本身有4点局限性（缺乏领域特定信息、容易产生幻觉、无法获取最新信息和知识、不变的预训练数据等），这4点局限都和实时数据紧密相关，因此向量数据库可以作为外部的一个实时知识库和 LLM 大模型相辅相成。

文档检索增强（Retrieval Augmented Genatation），简称 RAG，利用提前构建好的知识库，通过检索与 Query 相关的知识片段来增强大模型回答效果。

第三、利用向量数据库的短期记忆和长期记忆功能，来构建 AI Agents，比如：Code Interpreter 是一个典型的 AI  Agents，AI Agents 有望成为 AI 智能时代新的APP 应用形态。

第四、构建企业级知识库，比如：构建私人智能助手，步骤一、将私人数据转换为向量数据，并写入到向量数据库中；步骤二、根据 Prompt 从向量数据库中提取相似数据；步骤三、结合相似数据重新组装 Prompt，让 ChatGPT 生成回答。

— 4—

免费超干货 LLM 大模型直播

为了帮助同学们掌握好 LLM 大模型的向量数据库企业级应用实战，今晚8点，我和陈东老师会开一场直播和同学们深度聊聊向量数据库技术架构剖析、大模型离不开向量数据库的技术侧剖析、利用向量数据库构建企业知识库案例实战，请同学点击下方按钮预约直播，咱们今晚8点不见不散哦~~

近期直播：《基于 LLM 大模型的向量数据库企业级应用实践》

END