智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼

已于 2023-11-17 11:26:56 修改
阅读量2.5k 收藏 1
点赞数 22
分类专栏： 搜索推荐系统相关技术业务落地方案及码源 文章标签： 人工智能 搜索系统 语义搜索 向量搜索 智能问答 大模型检索增强 RAG
于 2023-11-01 11:19:13 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/134157536
版权

在这里插入图片描述
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源）

在这里插入图片描述
专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源）

前人栽树后人乘凉，本专栏提供资料：

  1. 推荐系统算法库，包含推荐系统经典及最新算法讲解，以及涉及后续业务落地方案和码源
  2. 本专栏会持续更新业务落地方案以及码源。同时我也会整理总结出有价值的资料省去你大把时间，快速获取有价值信息进行科研or业务落地。帮助你快速完成任务落地，以及科研baseline

智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼

RAG（Retrieval Augmented Generation, 检索增强生成）是一个将大规模语

了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
  • 22
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
OpenCV小项目与OpenCV一些非常有用的代码
10-11
OpenCV小项目 这是一个个人在使用OpenCV过程中写的一些小项目，以及一些非常有用的OpenCV代码，有些代码是对某论文中的部分实现。 注意:代码是在Xcode里写的，如果要在win下测试，遇到问题自己修改。 opencv-rootsift-py 用python和OpenCV写的一个rootsift实现，其中RootSIFT部分的代码参照Implementing RootSIFT in Python and OpenCV这篇文章所写，通过这个你可以了解Three things everyone should know to improve object retrieval这篇文章中RootSIFT是怎么实现的。 sift(asift)-match-with-ransac-cpp 用C++和OpenCV写的一个图像匹配实现，里面包含了采用1NN匹配可视化、1NN匹配后经RANSAC剔除错配点可视化、1NN/2NN<0.8匹配可视化、1NN/2NN<0.8经 RANSAC剔除错配点可视化四个过程，其中1NN/2NN<0.8匹配过程是Lowe的Raw feature match，具体可以阅读Lowe的Distinctive image features from scale-invariant keypoints这篇文章。这个对图像检索重排非常有用。另外里面还有用OpenCV写的ASIFT，这部分来源于OPENCV ASIFT C++ IMPLEMENTATION，ASIFT还可以到官网页面下载，ASIFT提取的关键点 比SIFT要多得多，速度非常慢，不推荐在对要求实时性的应用中使用。 更多详细的分析可以阅读博文SIFT(ASIFT) Matching with RANSAC。 有用链接 OpenCV3.0文档 // 测试sparse unsigned int centersNum = 10; vector descrNums; descrNums.push_back(8); descrNums.push_back(12); //unsigned int T[] = {1, 2, 1, 3, 2, 5, 4, 3, 10, 5; 4, 2, 6, 5, 2, 5, 4, 6, 2, 4}; unsigned int T[] = {1, 2, 1, 3, 2, 5, 4, 3, 10, 5, 4, 2, 6, 5, 2, 5, 4, 6, 2, 4}; sp_mat Hist(descrNums.size(), centersNum); static long int count = 0; for (int i = 0; i < descrNums.size(); i++){ unsigned int* desrcElementsTmp = new unsigned int[descrNums[i]]; memcpy(desrcElementsTmp, T + count, descrNums[i] * sizeof(T[0])); //cout << desrcElementsTmp[0] << '\t' << desrcElementsTmp[1] << '\t' << desrcElementsTmp[2] << '\t' << desrcElementsTmp[3] << '\t' << desrcElementsTmp[4] << '\t' <<endl; //cout << desrcElementsTmp[5] << '\t' << desrcElementsTmp[6] << '\t' << desrcElementsTmp[7] << '\t' << desrcElementsTmp[8] << '\t' << desrcElementsTmp[9] << '\t' << desrcElementsTmp[10] << '\t' <<endl; //cout << endl; sp_mat X(1, centersNum); X.zeros(); for (int j = 0; j < descrNums[i]; j++){ X(0, desrcElementsTmp[j]-1) += 1; } X.print("X:"); X = X/norm(X, 2); Hist.row(i) = X; count = count + descrNums[i]; delete desrcElementsTmp; } //Hist.print("Hist:");
基于Markov网络的结果重排技术 (2013年)
05-07
信息检索中通过网页链接信息提取文档内部关系进行搜索结果重排可以提升检索系统的性能。通过Markov网络来展现文档内部关系，该网络更直观地解释了文档间的语义相关性，利用这种文档内部语义关系计算文档重要性对检索结果进行重排。根据文档分布特征阐述了Markov文档网络的构造算法，讨论了Top-k及其相关文档的重要性评分算法，修正初始检索的文档评分。通过这种方式，既保持了文档图的查询相关性，又丰富了文档内部关系，扩大了重排序范围。实验表明，在多个标准文档集上基于Markov网络的结果重排技术对检索性能有较大的稳定
一文读懂：大模型RAG（检索增强生成）
m0_59164304的博客
04-11 6845
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
crex-开源
05-15
[文档位于crex点sourceforge点网处] CREX-osCommeRcE XML-此1文件夹库允许您以XML格式检索来自osCommerce或osCommerce的商店中的信息，并与之交互。
【高级RAG技巧】使用二阶段检索器平衡检索的效率和精度
深度学习机器
04-26 611
虽然目前二阶段方法用来提升RAG的性能表现越来越受到关注，但是具体来看，其中所含的技术都是早就有的内容。Cross-Encoder这种架构在当时显得比较鸡肋，只能用来比较句子的相似度，甚至无法输出向量，在大部分自然语言处理场景中都不受待见，谁能想到在如今又焕发生机了呢？
心法利器[113] | RAG结构思考：搜索系统范式和大模型作用压缩
baidu_25854831的博客
04-21 586
心法利器本栏目主要和大家一起讨论近期自己学习的心得和体会。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。2023年新的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2023年文章合集来袭，更有历史文章合集，欢迎下载。往期回顾心法利器[108] | 微调与RAG的优缺点分析心法利器[109] | RAG效果评估经验心法利器[110] | 知识文档处理和使用流程心法利器[111] | ...
基于RAG-n算法的低成本FIR滤波器实现
10-16
基于FIR数字滤波器多常数乘法的图表示法，利用MATLAB对RAG-n算法进行了实现。通过仿真该算法在大多数情况下都可以高效地解决加法器优化问题，有效降低了FIR滤波器常系数乘法的复杂度。在FPGA上用Verilog HDL语言对优化实例进行了实现，其综合结果表明，该方法可以有效减少逻辑单元的消耗，适用于低成本数字系统设计。
了解大模型 RAG （Retrieval-Augmented Generation）：大模型外挂知识库 （检索增强技术）
简简单单Onlinezuozuo
12-03 2924
了解大模型 RAG （Retrieval-Augmented Generation）：大模型外挂知识库 （检索增强技术）为了弥补通用的预训练大模型在某些专业领域的短板、或者特别强化大模型在某个细分场景下的能力，我们使用 RAG 外挂知识库来增强大模型的能力检索增强生成（RAG，Retrieval-Augmented Generation）是一种新型AI模型，集检索和生成于一体。
用通俗易懂的方式讲解：大模型 RAG 技术，从入门到精通
2301_78285120的博客
01-12 5708
大家好，关于RAG实战文章已经写了5篇了，有兴趣可以自行去看一下。用通俗易懂的方式讲解：在 Langchain 中建立一个多模态的 RAG 管道用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战用通俗易懂的方式讲解：一文讲清大模型 RAG 技术全流程用通俗易懂的方式讲解：带你全面了解 RAG，深入探讨其核心范式、关键技术及未来趋势用通俗易懂的方式讲解：从 Embedding、prompt-embedding 到 Reranker。
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 1万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
深度好文：最全的大模型 RAG 技术概览
2201_75499313的博客
01-17 4459
如果你已经熟悉检索增强生成（Retrieval Augmented Generation, RAG）的概念，请直接跳转到高级 RAG 部分。检索增强生成（Retrieval Augmented Generation, RAG）是一种技术，它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
RAG部署_使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG_优质大模型部署项目实战
人工智能-项目实践-信息检索-从0-1系统性快速学习大模型检索增强技术RAG
02-29
从0-1系统性快速学习大模型检索增强技术RAG
检索增强生成(RAG)管道的评估框架
11-14
agas是一个框架，可以帮助您评估检索增强生成(RAG)管道。RAG表示一类使用外部数据来扩展LLM上下文的LLM应用程序。现有的工具和框架可以帮助您构建这些管道，但评估和量化管道性能可能很困难。这就是Ragas (RAG评估)...
JAVA版本的检索增强生成(RAG)大模型知识库项目.zip
03-09
JAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的...
利用开源大模型，通过RAG(检索增强生成)技术，实现基于企业内部知识图谱的，可内网运行的大模型智能客服.zip
03-17
知识图谱是一种结构化的知识表达形式，它以...总之，知识图谱是一个大规模、多领域、多源异构知识集成的载体，是实现智能化信息系统的基础工具和关键基础设施，对于提升信息检索质量、推动智能应用研发具有重要作用。
RAG实战4 - Self-RAG 如何革命工业LLM
小然的百宝盒
01-13 158
(1) SELF-RAG 的目标SELF-RAG 的设计使得任意的语言模型（LM）可以生成包含“反思tokens”(reflection tokens) 的文本。这些token来自于扩展的模型词汇（即，原始词汇加上反思tokens）。(2) 训练细节生成模型M是在一个经过筛选的语料库上进行训练的，该语料库包含由检索器R检索到的段落和由评判模型C预测的反思tokens。(3) 评判模型C它被训练用于生成反思tokens，这些tokens用于评估检索到的段落和给定任务的输出质量。
大模型的RAG(检索增强生成) ----大模型外挂
cumtchw
04-19 930
检索增强生成（RAG）是一个概念，也可以称为一种范式，它旨在为大语言模型（Large Language Model，LLM）提供额外的、来自外部知识源的信息。
RAG结构思考：搜索系统范式和大模型作用压缩
最新发布
瓦罗兰特顶级C位的博客
05-17 991
RAG结构思考：搜索系统范式和大模型作用压缩
milvus springboot
02-04
Milvus 是一个开源的向量相似度搜索引擎，而Spring Boot 是一个用于构建基于 Java 的独立、生产级的应用程序的框架。 Milvus Spring Boot 是将 Milvus 与 Spring Boot 框架结合使用的一种方式。借助 Spring Boot，我们可以更方便地构建基于 Milvus 的应用程序。 首先，我们可以使用 Spring Boot 的依赖管理功能，将 Milvus 的 Java 客户端库添加到项目中。这样，我们就可以在我们的应用程序中直接使用 Milvus 的功能，如向量的插入、查询和删除等。 其次，Spring Boot 提供了强大的配置管理功能，我们可以轻松地将 Milvus 的连接配置信息添加到应用程序的配置文件中，例如指定 Milvus 的 IP 地址、端口号和连接池大小等。这样，我们就可以灵活地管理 Milvus 与其他组件的连接。 另外，Spring Boot 还提供了便捷的 RESTful API 开发功能。我们可以利用这一特性，将 Milvus 的搜索引擎功能以接口的形式暴露给客户端，使得客户端可以通过 HTTP 请求来进行向量的检索。这样，我们可以轻松地建立一个灵活、高性能的分布式向量搜索系统。 总的来说，Milvus Spring Boot 结合了 Milvus 的强大功能和 Spring Boot 的便捷开发特性，使得我们可以更快速、灵活地搭建起一个高性能的向量搜索应用程序。它在大数据、人工智能等领域有广泛的应用前景，可以应对各种复杂的向量查询需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值