RAG简介_rag怎么消除幻觉-CSDN博客

本文链接：https://blog.csdn.net/weixin_43186779/article/details/140838231

文章目录

RAG简介

RAG简介

1、大模型现阶段的问题：”幻觉“

什么是大模型幻觉问题

大模型幻觉问题（Hallucination in Large Language Models）是指在大型语言模型（LLM）生成文本时，模型可能会产生不正确、无意义或与训练数据无关的内容。这种现象通常发生在模型试图生成看似合理但实际不准确的信息时。

为什么会出现幻觉问题

大型语言模型是根据训练数据中获取知识，但很难判断模型记住了哪些知识。"幻觉"是指模型生成不正确、无意义或不实文本的现象。

幻觉的分类

逻辑谬误：模型在进行推理时出现错误，提供错误的答案。
捏造事实：模型自信地断言不存在的事实。
数据驱动的偏见：模型的输出可能偏向某些方向，导致错误的结果。

现阶段“幻觉”的解决思路：

为了解决幻觉问题，可以采用检索增强生成（Retrieval-Augmented Generation, RAG）等技术。RAG通过从外部知识库检索事实，以最准确、最新的信息为基础，增强语言模型的生成能力，确保模型能够访问最新、可靠的事实。

2、什么是RAG

RAG可从外部知识库检索事实，以最准确、最新的信息为基础的自然语言模型（LLM），并让用户深入了解LLM的生成过程。

RAG的特点

RAG是一种相对较新的人工智能技术，可以通过允许大型语言模型（LLM）在无需重新训练的情况下利用额外的数据资源来提高生成式AI的质量。
RAG模型基于组织自身的数据构建知识存储库，并且存储库可以不断更新，以帮助生成式AI提供及时的上下文答案。
使用自然语言处理的聊天机器人和其他对话系统可以从RAG和生成式人工智能中受益。
实施RAG需要失量数据库等技术，这些技术可以快速编码新数据，并搜索该数据以输入给LLM模型。

RAG的两个阶段

检索阶段：算法搜索并检索与用户提示或问题相关的信息片段。在开放域的消费者环境中，这些事实可以来自互联网上的索引文档；在封闭域的企业环境中，通常使用较小的一组源来提高安全性和可靠性。
生成阶段：大模型从增强提示及其训练数据的内部表示中提取信息，以在那一刻为用户量身定制引人入胜的答案。然后可以将答案传递给聊天机器人，并附上其来源的链接。

RAG面临的一些挑战

技术太新及其研究较少。
如何对知识库和向量数据库中结构化和非结构化数据建模。
整个RAG工程化模型面临的流程问题。
如何处理不准确信息来源以及如何剔除不准确信息。

3、需要RAG来解决的问题

长尾问题：LLM模型训练数据非常庞大，参数量也非常多，训练数据来源丰富。但对于一些长尾知识，LLM通常回复并不可靠。ICML会议上的研究显示，预训练数据中相关文档数量越多，LLM对事实性问答的回复准确性就越高。
私有数据：使用特定的私有数据进行学习，但要注意隐私信息泄漏的问题。
信息更新：RAG可以把更新的知识放在外部数据库，在问题的时候检索最新的知识。
可解释性：RAG可以解决可解释性、信息溯源、信息验证等问题。

4、RAG工程化的优化方案

部署有效的RAG系统需要进行大量实验来优化每个组件，部署有效的 RAG 系统需要进行大量实验来优化每个组件，包括数据收集、模型嵌入、分块策略等。按照步骤可以将其分为数据索引模块、数据检索模块以及LLM生成模块。这里仅仅讲一些评估方法以及需要注意的点，毕竟新技术仍处于快速发展研究状态，没有一个完整确切的解决方案。