项目实训：初学大模型和RAG

项目实训

1.题目：

“通用人工智能（大模型）”指通过应用已有的AIGC或者LLM技术，进行创新开发，可以是模型微调，也可以是在某个领域的应用。可以通过阿里魔搭ModelScope（魔搭社区）使用免费的CPU算力进行大模型的部署（包含部署时的优化），也可以面向浏览器、智能手机、树莓派等终端开发大模型应用。比如，开发面向法律文书的文本生成系统，开发面向医学病历的文本分析系统，开发面向小学生的智能平板等。要求项目工作量适中、开发工作充足，而且能够切实完成。

知识点解答：

1.AIGC就是人工智能生成内容（Artificial Intelligence Generative Content）

2.LLM（Large Language Model）指的是大型语言模型，通常是指拥有巨大参数量和学习能力的神经网络模型。这些大型语言模型在自然语言处理领域取得了显著的进展，如 GPT 系列、BERT、T5 等。

大模型遇到的问题:

1.实时更新信息无法及时利用 ⒉.训练成本极高，并且效果预期不明朗 3.垂直领域

RAG (RetrievalAugmented Generation,检索增强生成)

大模型的互补技术，可解释性、难度低

RAG技术的优势在于能够利用大规模的语料库中的信息来辅助文本生成，从而生成更加准确、连贯和具有信息量的文本内容。这种方法在提高问答系统、摘要生成以及对话系统的效果方面表现出色。

一般思路：

向量检索技术+提示词工程+大模型

向量的相似度代表文本相似度

将得到的答案和问题一并扔给大模型

1.知识库的构建

难点: 文本数据、大模型的辅助记忆力 1.自于网络:数据清洗 2.文档种类多(多模态) 有doc、ppt 、excel、 pdf

先得到文本

2切分方式 段落（常用） 句子 Token

知识点（不容易操作）

切分的原因:大模型输入长度有限制 3.内部知识的特殊性辅助知识图谱，辅助外部资料

我今天晚上教大家RAG技术。RAG是指大模型型技术中的检索增强

2.向量检索（基础篇）

用户的问题，找到对应知识 ·检索技术recallV:检索的主要方式还是这几种: ·相似度检索:包括欧氏距离、曼哈顿距离、余弦等;·关键词检索: tf-idf . sQL检索:更加传统的检索算法。 ·重排序(Rerank)∶相关度、匹配度等因素做一些重新调整，得到更符合业务场景的排序。 用户的问题找到对应的知识

目的：召回的信息拓展的知识也召回

树索引：把节点及其子节点都召回。

知识图谱索引：好用但构建成本高

更高级（问题先丢给大模型，大模型生成更多问题，一起参与检索）：

完整流程

大模型的知识外挂RAG

什么是RAG？

Coggle 30 Days of ML（24年1/2月）：动手学RAG - 竞赛学习 - Coggle竞赛论坛

RAG技术结合了大型语言模型的强大生成能力和检索系统的精确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。这种方法不仅增强了模型的回答能力，还减少了生成错误信息的风险。

步骤：

首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。

然后，RAG会将用户的输入和检索到的上下文拼接成一个完整的输入，传递给一个大模型，例如GPT。这个输入通常会包含一些提示（prompt），指导模型如何生成期望的输出，例如一个答案或一个摘要。

最后，RAG会从大模型的输出中提取或格式化所需的信息，返回给用户。

更新大模型很复杂，单更新外部知识库很简单。

ChatGPT/GLM API使用

前者收费，后者可以试试

数据集读取与评测方法

hugging face上面下载

文本多路召回与重排序

多路召回逻辑

多路召回逻辑是在文本检索中常用的一种策略，其目的是通过多个召回路径（或方法）综合获取候选文档，以提高检索的全面性和准确性。单一的召回方法可能由于模型特性或数据特点而存在局限性，多路召回逻辑引入了多个召回路径，每个路径采用不同的召回方法。

• 实现方法1：将BM25的检索结果 和 语义检索结果 按照排名进行加权

• 实现方法2：按照段落、句子、页不同的角度进行语义编码进行检索，综合得到检索结果。

重排序逻辑（BM25 + BGE Rerank）

重排序逻辑是文本检索领域中一种重要的策略，主要用于优化原有文本检索方法返回的候选文档顺序，以提高最终的检索效果。在传统的文本检索方法中，往往采用打分的逻辑，如计算BERT嵌入向量之间的相似度。而重排序逻辑引入了更为复杂的文本交叉方法，通过特征交叉得到更进一步的打分，从而提高排序的准确性。

进阶：加一个意图识别

关键词提取

LangChain

快速入门指南 – LangChain中文网

实操教程

12-自动解析代码库-理解并根据需要生成代码哔哩哔哩bilibili

代理（tools）、文档检索、查询数据库获取信息、理解并根据需要生成代码

GLM4

智谱AI开放平台 (bigmodel.cn)

开源项目

1. langChain-ChatGLM:基于本地知识库的同答

langchain-ChatGLM: langchain-ChatGLM, local knowledge based ChatGLM with langchain ｜ 基于本地知识库的 ChatGLM 问答 (gitee.com)

毕业设计生成器 - AI在线计算机毕业设计生成 (fktool.com)