第三课-茴香豆：搭建你的 RAG 智能助理笔记（含作业）

茴香豆：搭建你的 RAG 智能助理

1、RAG 基础知识介绍

定义：RAG(Retrieval Augmented Generation)是一种结合了检索(Retrieval)和生成(Generation)的技术,旨在通过利用外部知识库来增强大型语言模型(LLMs)的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答,

功能：解决LLMs在处理知识密集型任务时可能遇到的挑战。提供更准确的回答、降低成本、实现外部记忆。

解决问题：生成幻觉(hallucination)，过时知识，缺乏透明和可追溯的推理过程

应用：问答系统，文本生成，信息检索，图片描述

RAG 工作原理：

索引：将知识源(如文档或网页)分割成chunk，编码成向量，并存储在向量数据库中。

检索：接收到用户的问题后，将问题也编码成向量，并在向量数据库中找到与之最相关的文档块(top-k chunks ).

生成：将检索到的文档块与原始问题一起作为提示(prompt )输入到LLM中，生Generation成最终的回答。

向量数据库(Vector-DB )：

数据存储：将文本及其他数据通过其他预训练的模型转换为固定长度的向量表示，这些向量能够捕捉文体的语义信息。

相似性检索：根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程通常通过计算余弦相似度或其他相似性度量来完成。检索结果根据相似度得分进行排序最相关的文档将被用于后续的文本生成。

向量表示的优化：包括使用更高级的文本编码技术如句子嵌入或段落嵌入，以及对数据库进行优化以支持大规模向量搜索。

RAG常见优化方法：嵌入优化，索引优化，查询优化，上下文管理，迭代、递归、自适应检索，LLM微调。

RAG 效果比对

如图所示，由于茴香豆是一款比较新的应用， InternLM2-Chat-7B 训练数据库中并没有收录到它的相关信息。左图中关于 huixiangdou 的 3 轮问答均未给出准确的答案。右图未对 InternLM2-Chat-7B 进行任何增训的情况下，通过 RAG 技术实现的新增知识问答。

2、茴香豆介绍

茴香豆是一个基于LLMs的领域知识助手,由书生浦语团队开发的开源大模型应用。

• 专为即时通讯（IM）工具中的群聊场景优化的工作流，提供及时准确的技术支持和自动化问答服务。
• 通过应用检索增强生成(RAG)技术，茴香豆能够理解和高效准确的回应与特定知识领域相关的复杂查询。

应用场景

1. 智能客服:技术支持、领域知识对话
2. IM工具中创建用户群组，讨论、解答相关的问题。
3. 随着用户数量的增加，答复内容高度重复，充斥大量无意义和闲聊，人工回复，成本高，影响工作效率。
4. 茴香豆通过提供自动化的问答支持，帮助维护者减轻负担，同时确保用户问题得到有效解答。

场景难点

1. 群聊中的信息量巨大，且内容多样，从技术讨论到闲聊应有尽有。
2. 用户问题通常与个人紧密相关，需要准确的实时的专业知识解答。
3. 传统的NLP解决方案无法准确解析用户意图且往往无法提供满意的答案。
4. 需要一个能够在群聊中准确识别与回答相关问题的智能助手，同时避免造成消息过载。

3、茴香豆搭建知识库实战

Tutorial/huixiangdou/readme.md at camp2 · InternLM/Tutorial · GitHub

4、基础作业：

在 InternLM Studio 上部署茴香豆技术助手

• 根据教程文档搭建 茴香豆技术助手，针对问题"茴香豆怎么部署到微信群？"进行提问
• 完成不少于 400 字的笔记 + 截图