书生浦语大模型实战营第三次笔记

一.RAG技术概述

RAG是可以理解为一个检索引擎，通过外部知识库以及结合大型语言模型来回答问题

二.RAG的工作原理

1.工作原理

 第一步：将知识源分割成chunk，编码成向量并储存在向量数据库中

 第二步：将问题编码成向量，并在数据库中找到最相关文档

 第三步：将问题与文档块输入到LLM，生成答案

2.向量数据库

 向量数据库包含数据储存，相似性检索，向量表示的优化

三.RAG流程实例及发展进程

1.RAG流程实例

2.RAG发展进程

首先从Naive RAG开始，它可以回答简单的问题和信息检索；到Advanced RAG，可以从文中形成摘要，而且有重点内容的总结和概括；再到Modular RAG，就可以实现多模态任务和完成与用户的对话

四.RAG常见优化方法及与微调（Fine-turning）的区分

1.RAG常见优化方法

2.RAG与微调（Fine-turning）的不同

五.LLM模型优化方法比较及RAG评估框架和基准测试

1.LLM模型优化方法比较

从两方面比较：a.从外部知识的需求

b.对模型适配的需求（从RAG,提示工程，微调三方面来看）

2.RAG评估框架和基准测试

六.茴香豆的简介

1.茴香豆的概念

茴香豆是一个可以从所用数据中来高效解答问题的领域知识助手

2.茴香豆的核心特性

3.茴香豆的工作流

完整工作流