第三节课——“茴香豆“:零代码搭建你的 RAG 智能助理（笔记+作业）

课堂笔记

RAG板块：

RAG（Retrieval Augmented Generation）技术

RAG技术通过检索与用户输入相关的信息片段，并结合外部技术局库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

概括

可以使模型无需额外训练就可以了解到更多的知识进行回答。

原理

向量数据库

1.【数据存储】

将文本及其他数据通过其他预训练的模型转换为固定长度的向量表示，这些向量能够捕捉文本的语义信息。

2.【相似性检索】

根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程。通常通过计算余弦相似度或其他相似性度量来完成。检索结果根据相似度得分进行排序最相关的文档将被用于后续的文本生成。

3.【向量表示的优化】

包括使用更高级的文本编码技术如句子嵌入或段落嵌入，以及对数据库进行优化以支持大规模向量搜索。

RAG流程示例

发展进程

RAG的概念最早是由Meta(Facebook)的Lewis等人在2020《Retrieval--Augmented Generation forKnowledge-Intensive NLP Tasks》中提出的。

RAG常见优化方法

与常见大模型微调的对比

LLM模型优化方法比较

开源应用工具——茴香豆

介绍

核心特性

完整工作流

基础作业——在 InternLM Studio 上部署茴香豆技术助手

提问：茴香豆怎么部署到微信群？

答案见截图。在此测试中很好的展示了茴香豆的工作流程（蓝色部分为提示词工程，黄色内容为模型回答），使用RAG后会从网页上寻找资料来完善自己的答案。