第三节作业

1.RAG：RAG(Retrieval Augmented Generation)是一种结合了检索(Retrieval)和生成(Generation)的技术,旨在通过利用外部知识库来增强大型语言模型(LLMs)的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。解决LLMs在处理知识密集型任务时可能遇到的挑战。提供更准确的回答、降低成本、实现外部记忆。

下图为RAG工作原理

索引indexing：将文档、网页分割成chunk，编码成向量，存储在向量数据库中。

检索Retrival ：接收用户问题编码为向量，在向量数据库之间找到与之最相关的文档块（top-k chunks)。

生成Generation：将检索到的外挂信息与原始问题一起作为提示，输入LLM中，得到最终的回答。

2.为了解决大模型的时效性问题，RAG给出了如下的解决方案：

检索模块将用户的问题向量化，与数据库进行相似度匹配，
找出匹配度最高的Chunks,
将问题与chunks一起返回给生成模块，形成prompt
生成自然语言答案返回给用户。
实效性数据则需要不断更新知识库，实现及时补充最新版知识。

3.茴香豆：茴香豆豆是一个基于LLMs的领域知识助手，由书生浦语团队开发的开源大模型应用。专为即时通讯（IM)工具中的群聊场景优化的工作流,提供及时准确的技术支持和自动化问答服务。
通过应用检索增强生成(RAG)技术,茴香豆能够理解和高效准确的回应与特定知识领域相关的复杂查询。

茴香豆的知识库构建通常是个人与企业的相关技术知识文档，目前支持Markdown文件、word文档、ppt文件等常用的文件类型，可以设置积极和消极的标签控制助手的回答范围。
茴香豆读取用户问题以及相关文档的平台，在国内一般是微信群和飞书群，国外是discord和slack等技术交流应用软件。 茴香豆目前支持调用本地或远端大模型的API，如书生浦语、通义千问、ChatGPT、Kimi等。

茴香豆的工作流

4.在开发机部署茴香豆并进行提问

第一个问题，茴香豆怎么部署到微信群，可以看到茴香豆进行了解答

第二个问题，今天天气怎么样，茴香豆的拒答模块起到作用，该问题无需回答