【书生·浦语大模型实战营第二期】“茴香豆“：搭建你的 RAG 智能助理——学习笔记3

最新推荐文章于 2024-05-17 18:09:22 发布

自律版光追

最新推荐文章于 2024-05-17 18:09:22 发布

阅读量467

点赞数 9

分类专栏： # LLM 文章标签：学习笔记 llm 自然语言处理人工智能语言模型 RAG

本文链接：https://blog.csdn.net/m0_61819793/article/details/138355928

版权

LLM 专栏收录该内容

25 篇文章 0 订阅

订阅专栏

文章目录

基础知识
实践操作
- 在茴香豆Web版中创建自己领域的知识问答助手
- - 在 `InternLM Studio` 上部署茴香豆技术助手
参考资料

基础知识

RAG

通俗易懂的理解：将rag技术作为搜索引擎，用户的问题作为索引，在外部向量知识库中搜索相关的内容，再结合大语言模型的能力生成回答。助力LLM处理知识密集型任务。

向量数据库
需要完成数据存储、相似度检索以及面对大规模数据集时的向量表示优化
具体而言，
数据存储是通过预训练模型将待存储数据转换为固定长度的向量表示；
相似度检索是利用用户的查询向量在数据库中找到最相关的向量，通常使用点积相似度或余弦相似度
优化向量表示考虑：更换向量化过程使用的预训练模型、使用更高级的文本编码技术、更改嵌入方式如句子嵌入或段落嵌入、优化数据库

RAG发展历程

三个RAG范式
Naive RAG ->
Naive RAG
只有索引、检索、生成三个部分构成的最基本的范式，可用于问答系统、信息检索等任务中
Advanced RAG
基本部分之外，在检索前后都进行了增强，在检索之前对用户的问题进行了路由、扩展、重写等处理；对检索到的信息重排序、总结融合等处理。用于摘要生成、内容推荐等任务
Modular RAG
模块化各种优化技术，根据业务需求定制，用于多模态任务对话系统等更高级的应用

2024 RAG-survey的配图

RAG常见优化方法

通过对RAG各个模块进行分析得到以下优化方法：
针对向量数据库
Embedding嵌入优化、Indexing索引优化
在检索前后进行的优化
Query查询优化、Context上下文管理
针对检索的优化
Iterative迭代检索、Recursive递归检索、Adaptive自适应检索
针对RAG中的LLM进行优化
主要形式为微调，可以是对场景数据的定向微调，也可以是针对检索/生成的指定模块微调