书生浦语大模型实战营第二期 第三次课笔记

课程内容概述

• 本节课介绍了RAG（Retrieval Augmented Generation）技术的基础知识。
• 展示了如何使用茴香豆（Huixiangdou）搭建一个RAG智能助理。
• 讲解了茴香豆的进阶用法，包括网络搜索、使用远程模型、搭建网页Demo等。

1. RAG技术概述

• RAG技术结合了检索和生成，通过检索相关信息片段来增强语言模型的回答能力。
• 它能够解决大型语言模型在处理知识密集型任务时的挑战，如幻觉问题、过时知识、缺乏透明度和可追溯的推理过程。
• RAG技术允许基础模型实现非参数知识更新，无需额外训练即可掌握新领域的知识。

2. 使用茴香豆搭建RAG助手

• 修改配置文件：根据文档说明，替换config.ini文件中的模型路径为实际路径。
• 创建知识库：使用InternLM的Huixiangdou文档作为知识数据检索来源，创建知识向量数据库，同时还可以建立接受和拒答两个向量数据库，使助手有选择地回答问题。
• 运行茴香豆知识助手：通过修改main.py中的查询列表，测试并运行智能助理。

3. 茴香豆进阶

• 加入网络搜索：使用Serper API加入网络搜索结果，扩展回答来源。
• 使用远程模型：茴香豆支持调用云端模型API，如Kimi、GPT-4等，减少本地GPU显存需求。
• 利用Gradio搭建网页Demo：通过Gradio创建网页对话界面，无需重新训练或微调模型即可搭建新领域的问答助手。
• 配置文件解析：详细介绍了config.ini文件中的常用参数及其作用。
• 文件结构：解释了茴香豆的主要文件和目录结构，帮助理解其工作原理。

实践步骤详细笔记

1. 环境配置：

   • 配置基础环境：在Intern Studio上创建开发机并设置基础环境。
   • 下载基础文件：复制所需的模型文件到本地。
   • 安装茴香豆：从官方仓库下载并安装茴香豆。

2. 使用茴香豆搭建RAG助手：

   • 修改配置文件：根据实际模型路径更新config.ini。
   • 创建知识库：下载Huixiangdou语料，提取特征，创建向量数据库，验证能否拒答。
   • 运行茴香豆：在main.py中设置查询列表，运行智能助理。

3. 茴香豆进阶：

   • 加入网络搜索：配置Serper API，扩展搜索范围。
   • 使用远程模型：修改配置文件以启用云端模型。
   • 搭建网页Demo：使用Gradio创建并运行网页对话界面。
   • 配置文件解析：了解并调整config.ini中的参数以适应不同需求。
   • 文件结构：熟悉茴香豆的主要代码结构和工作流程。

总结

• 本节课涵盖了RAG技术基础知识、茴香豆的使用方法以及进阶应用，为搭建和优化自己的RAG智能助理提供了详尽的指导。