RAG与向量数据库

最新推荐文章于 2024-08-27 17:25:55 发布

菜鸟大模型

最新推荐文章于 2024-08-27 17:25:55 发布

阅读量1k

点赞数 16

文章标签：数据库 embedding 大模型 langchain LLM 产品经理 ai大模型

本文链接：https://blog.csdn.net/huang9604/article/details/140064362

版权

Retriveal Augmented Generation（RAG）检索增强生成，是一种结合了知识检索和生成模型的技术方法，用于减少“幻觉”的产生，主要使用在问答系统，为用户提供正确的答案。

传统的生成模型，通常是基于大量的通用数据进行训练，但在处理特定领域或专业知识时可能存在一定的限制。为了解决这个问题，RAG 引入了知识检索的概念。在 RAG 中，生成模型与一个知识检索模块相结合。知识检索模块可以通过检索相关的知识库、文档或其他资源来获取特定领域的知识。生成模型可以利用这些检索到的知识来辅助生成过程，提供更准确、丰富的内容。具体而言，当生成模型需要生成一段文本时，它可以首先使用知识检索模块来检索相关的知识片段。然后，生成模型可以将这些知识片段作为输入或参考，以更好地理解任务要求，并生成更具准确性和一致性的文本。

RAG 可以帮助解决私有知识问题，让私有知识库和 AI 大模型更好地融合。通过将私有知识库与大模型结合，RAG 能够使大模型“知道”更多的私有知识，从而提高其回答的准确性和可靠性。

RAG框架

RAG技术

RAG技术主要分为两类， RAG Sequence和RAG Token。

RAG Sequence：一种通过检索后的文档生成完整序列的方法。对应于每个输入，模型找寻一组相关的文档信息，将这一组文档整体考虑、生成单一的反映组合信息的响应。
RAG Token：对响应的每个部分，模型找寻相关的文档，响应是以增量方式构造的，每个部分都反映为该特定部分检索到的文档中的信息。

RAG应用程序示意图如下：

如果仅使用LLM，查询仅依靠预训练时使用的数据集来提供结果，如果使用LLM+RAG的方式，查询会使用向量数据库作为额外的数据集来提供正确的结果。向量数据库是RAG方式的一个重要的数据来源，下面的内容对于向量数据库进行一个简要的介绍。

向量

向量是一组称为维度的数字序列，用于捕捉数据的重要特性。LLM中的嵌入本质上是高纬度的向量。向量通过深度学习的嵌入模型生成，表示数据的语义内容，并不是底层的单词或像素。例如，一个单词可以表示为一个向量，其中每个元素表示该单词在某个维度上的特征。这些特征可以是词频、词性、语义等。通过将文本数据表示为向量，可以使用机器学习算法对其进行处理和分析。

为了帮助理解，这里以2维图形进行说明。这里有三组词汇，基于语义它们分为动物、水果，和城市。当增加一个新的词汇“老虎”时，它最接近的是动物这一组词汇，甚至更接近“猫”，并且远离水果和城市两个组。因此，向量数据库实际上是针对多维空间进行了优化，其中关系基于高维向量空间中的距离和相似性。

向量之间的距离在自然语言处理中，通常用于衡量两个文本之间的语义相似度。例如，在文本分类任务中，可以计算每个文本与各个类别的中心向量之间的距离，以确定该文本属于哪个类别。向量之间的距离可以通过多种方式计算，例如，余弦距离，点积等。其中，余弦距离是一种常用的方法，它计算的是两个向量之间的夹角余弦值，取值范围在[-1,1]之间，值越大表示两个向量越相似。

向量数据库工作流程

常见的向量数据库如下：

在OCI的云服务中，MySQL Heatwave未来也将提供向量存储和检索。

LLM中向量数据库的角色

解决LLM中的幻觉问题。
在提示中增加企业特定的内容，以生成更好的响应。
使用最相关的内容来避免超过LLM标记限制。
相对于LLM的微调而言，成本低廉。
实时更新知识库。
缓存之前LLM提示/应答，以改进性能降低成本。

由此可见，向量数据库在生成式AI中起到的重要作用，这也是当前众多数据库纷纷增加向量存储功能的原因。

以上内容是关于LLM中Retriveal Augmented Generation（RAG）和向量数据库的简介。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍