RAG概述

最新推荐文章于 2024-09-08 12:41:37 发布
最新推荐文章于 2024-09-08 12:41:37 发布
阅读量236 收藏
点赞数 3
文章标签： 自然语言处理 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wdandlzl/article/details/137894636
版权
本文介绍了RAG（检索增强生成）技术，通过清洗和处理数据，将用户输入的prompt与数据库中的相关信息相结合，以提高生成答案的清晰度和准确性，最终通过语言模型生成响应。
摘要由CSDN通过智能技术生成

RAG （ 检索增强生成，Retrieval-Augmented Generation）
使prompt变得”通俗易懂“的方法，比如“尖峰熵有多大” ->“尖峰熵是xxx，该句的某token的logit是xxx，尖峰熵有多大”，这样来扩充prompt
其工作流程大致为：

  • 数据处理
    • 对原始数据进行清洗和处理
    • 处理后的数据转换为检索模型可以使用的格式
    • 存储在数据库中
  • 检索阶段
    • 用用户输入的prompt在数据库检索相关信息
  • 增强阶段
    • 使相关信息与prompt“融合”，对其增强
  • 生成阶段
    • 将增强后的prompt输入语言模型，生成答案
lzlandwd
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
（13-1）RAG基础知识介绍：RAG模型概述
码农三叔
02-03 3432
RAG（Retrieval-Augmented Generation）是一种自然语言处理模型架构，旨在结合检索和生成两个关键的NLP（Natural Language Processing）任务。RAG模型可以应用于诸如问答系统、文本摘要、对话系统等多个领域。在本章的内容中，将详细讲解RAG的基础知识，介绍RAG技术的原理和架构知识，为读者步入后面知识的学习打下基础。
大语言模型的Prompt工程、RAG和微调区别及应用示例
wangjye99的博客
05-02 2205
大模型应用中，Prompt工程引导模型输出，RAG利用外部知识增强回答的准确性及丰富度，微调则使模型更好地适应特定任务或领域。三者紧密协作，不仅能提高特定场景下模型的表现，更使其能够精准、高效地完成复杂任务。
LlamaIndex——RAG概述
weixin_45325331的博客
04-03 1954
目前，以下组件是 Transformation 对象：文本分割器、节点解析器、元数据提取器、Embeddingsmodel（查看我们支持的嵌入列表）。除了这些模块，我们可以自定义转换操作，例如import re],
RAG概述（一）：RAG架构的演进
hugo_lei的博客
05-26 2137
RAG：Retrieval-Augmented Generation 检索增强生成。RAG通过结合LLMs的内在知识和外部数据库的非参数化数据，提高了模型在知识密集型任务中的准确性和可信度。。RAG的发展经历了三个主要阶段：初级（Native RAG）、高级（Advanced RAG）和模块化RAG（Modular RAG）。
RAG概述（二）：Advanced RAG 高级RAG
hugo_lei的博客
05-26 1532
Native RAG（基础RAG）体现了RAG开发范式的骨架，也即三段论Indexing-Retrieval-Generation。Advanced RAG聚焦在检索增强，增加了Pre-Retrieval预检索和Post-Retrieval后检索阶段。
RAG基础知识概述
宁少的博客
02-26 1947
RAG概述
RAG Survey
编码时光
04-28 1423
摘要 一、INTRODUCTION 二、RAG概述 A. Naive RAG B. Advanced RAG C. Modular RAG D. RAG与微调 三、 检索 A. 检索来源 1） 数据结构 2） 检索粒度 B. 索引优化 C. 查询优化 D.嵌入 E. Adapter 四、 生成 A. 语境控制 B. LLM微调 五、RAG 增强过程 A. 迭代检索 B. 递归检索 C. 自适应检索 VI、 任务与评估 A. 下游任务 B. 评估目标 C. 评估方面 D. 评估基准和工具 七、讨论与未来展望
检索增强生成RAG范式概述
ASS-ASH的博客
05-22 981
RAG---Retrieval-Augmented Generation是一种结合了信息检索和生成式模型的方法，旨在提高生成式模型在问答、摘要等任务中的表现。它通过在生成式模型中引入一个信息检索模块，可以在生成文本的过程中动态地检索外部知识/知识库，从而提高生成文本的质量和相关性。这种结合信息检索和生成的方法可以有效地利用外部知识来辅助生成模型，使得生成的文本更加准确和丰富。
RAG查询改写方法概述
qq_43814415的博客
05-09 1432
在RAG系统中，用户的查询是丰富多样的，可能存在措辞不准确和缺乏语义信息的问题。这导致使用原始的查询可能无法有效检索到目标文档。因此，将用户查询的语义空间与文档的语义空间对齐至关重要，目前主要有查询改写和嵌入转换两种方法。查询改写的方法包括Query2Doc，Doc2Query，HyDE，Step-Back Prompting，Rewrite-Retrieve-Read，ITER-RETGEN，Multi-query。
【LangChain编程：从入门到实践】RAG技术概述
程序员光剑
06-02 684
【LangChain编程：从入门到实践】RAG技术概述 1. 背景介绍 在当今信息时代,海量的数据和知识被存储在各种形式的文本中,如书籍、文章、报告等。然而,如何高效地从这些文本中提取有价值的信息并将其应用于实际场景一直是一个巨大的挑战。传统的信息检索方法通常依赖于关
Sentence-BERT实现文本匹配【CoSENT损失】
日积月累，天道酬勤
09-06 866
目前最流行的文本嵌入训练方法CoSENT详细介绍！
大语言模型的上下文窗口（Context Windows）：对人工智能应用的影响
Appen_China的博客
09-05 447
在大语言模型领域，上下文窗口是指模型在生成或理解语言时可以接收的文本量。这个窗口以一定数量的标记（单词或单词的部分）来衡量，并直接影响模型在后续标记预测中可以利用的信息量。因此，它在确定模型做出连贯且与上下文相关的响应或分析的能力方面至关重要。在传统的基于变压器的模型中增加上下文窗口大小非常困难。这是因为，虽然上下文窗口大小呈线性增长，但模型参数的数量呈二次方增长，导致扩展的复杂性。
[iBOT] Image BERT Pre-Training with Online Tokenizer
sinat_30618203的博客
09-05 495
探索visual tokenizer编码下的MIM（Masked Image Modeling）
Level3 — PART 3 — 自然语言处理与文本分析
最新发布
L
09-08 115
N-Gram 分词分词及词性标注的难点法则式分词法。
NLP自然语言处理学习过程中知识点总结
m0_58620239的博客
09-03 840
TF-IDF 结合了词频和逆文档频率两个指标，能够平衡一个词语在单个文档和整个文档集合中的出现情况，使得常见但无关紧要的词语权重降低，而重要的、具有区分度的词语权重提高。构建词汇表："我","喜欢","学习","是","有趣","的","事情""我", "喜欢", "学习", "是", "有趣", "的", "事情""我","喜欢","学习","是","有趣","的","事情"需要注意的是，IDF值的计算可能会受到一些因素的影响，比如文档集合的大小、文档内容的多样性等。
基于视觉-语言模型的机器人任务规划：ViLaIn框架解析
python_plus的博客
09-05 715
本文介绍了ViLaIn框架如何通过视觉和语言模型生成符号化任务描述，并借助符号规划器为机器人生成可执行的任务计划。
解决Can‘t load tokenizer for ‘bert-base-chinese‘.问题
CSDNhdlg的博客
09-05 298
在运行.py命令前加上HF_ENDPOINT=https://hf-mirror.com就可以成功解决。
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey
CSPhD-winston的博客
09-07 404
然而，当前还没有一项全面的、系统性的研究来深入讨论和定义这一问题。尽管有些研究认为这种现象是有益的 [12]，或不将其视为问题 [16]，但学术界的大多数研究认为，BDC对LLM评估的可靠性和有效性构成了重大挑战，削弱了对其输出的信任，阻碍了其在现实中的应用 [69, 83, 98, 119, 126, 178]。一些有前途的方案被提出，例如通过使用LLM重新生成基准数据 [158, 180, 181]，以减少BDC的影响，以及基准无关评估 [24, 87, 166]，试图避免完全依赖预定义的基准。
milvus RAG
06-19
抱歉，但关于"Milvus RAG"我没有找到相关的信息。Milvus是一款由阿里巴巴开源的高性能向量数据库，主要用于密集向量（如图像和文本）的存储和检索。RAG（Retrieval-Augmented Generation）通常是指一种结合了信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值