零编程玩转大模型，学习茴香豆部署群聊助手

笔记和作业

config.ini 文件中配置了当前的模型

RAG 概述

RAG（Retrieval Augmented Generation 技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。

RAG 效果比对

如图所示，由于茴香豆是一款比较新的应用， InternLM2-Chat-7B 训练数据库中并没有收录到它的相关信息。左图中关于 huixiangdou 的 3 轮问答均未给出准确的答案。右图未对 InternLM2-Chat-7B 进行任何增训的情况下，通过 RAG 技术实现的新增知识问答。

在茴香豆 Web 版中创建自己领域的知识问答助手

“茴香豆”是一个基于 LLM 的领域知识助手。特点：
应对群聊这类复杂场景，解答用户问题的同时，不会消息泛滥
提出一套解答技术问题的算法 pipeline
部署成本低，只需要 LLM 模型满足 4 个 trait 即可解答大部分用户问题

首先，按照视频步骤上传了本地的文档

我问了一个基础的问题验证Web端茴香豆的能力

接下来为了验证IntermLM2对文档内容的检索能力，我提出了对外贸易的问题

回答基本准确，但似乎没有使用文档里的内容。
我尝试问一些文档里具体的内容

这次茴香豆的回答相对准确很多，和文档的内容也基本一致，表明茴香豆能够正确的利用RAG技术检索外部知识。
接下来我将问一些技术性的问题

当提到与上传文档无关的技术性问题时，茴香豆首先会表现出无法从知识库找到的行为。接下来的回答也比较的笼统和无效。

总结

总体来说，茴香豆Web端的使用是局限的，回复也比较慢，主要还是为了验证RAG技术对大模型知识的作用。