基础作业 - 完成下面两个作业
1. 在茴香豆 Web 版中创建自己领域的知识问答助手
- 参考视频零编程玩转大模型,学习茴香豆部署群聊助手
- 完成不少于 400 字的笔记 + 线上茴香豆助手对话截图(不少于5轮)
- (可选)参考 代码 在自己的服务器部署茴香豆 Web 版
笔记:
该教程介绍了“茴香豆”,这是一个基于大型语言模型(LLM)的领域知识助手,专门设计来应对群聊等复杂场景。茴香豆的主要特点是能够在解答用户问题的同时避免消息泛滥,这对于维护群聊的秩序和用户体验至关重要。
茴香豆的核心特点
- 群聊适应性:茴香豆能够理解和适应群聊环境,区分不同类型的消息,并针对性地提供回答。
- 算法pipeline:提出了一套针对解答技术问题的算法pipeline,这套流程能够高效地处理和回应用户在群聊中提出的技术性问题。
- 低成本部署:茴香豆的部署成本低,只需LLM模型满足领域特定术语理解能力、长上下文处理能力、评分能力和上下文学习能力,即可解答大部分用户问题。
技术实现与应用
- 消息处理:茴香豆在接收到群聊消息后,通过预处理步骤整理和格式化消息,以便后续处理。
- 问题识别:通过算法pipeline,茴香豆能够识别出真正需要技术回答的问题,同时过滤掉无关的消息。
- 知识检索:对于识别出的技术问题,茴香豆利用其知识库进行检索,找到最相关的答案或信息片段。
- 智能回答:结合检索到的信息和LLM的生成能力,茴香豆能够提供准确、有针对性的回答。
茴香豆作为一个基于LLM的领域知识助手,展示了在群聊环境中提供技术支持的潜力。它通过一套精心设计的算法pipeline,能够有效地处理用户问题,提供有价值的回答,同时避免了不必要的消息泛滥。这种低成本、高效率的部署方式,使得茴香豆成为一种可行的解决方案,适用于需要在群聊中提供即时技术支持的场景。随着技术的进步和应用的深入,茴香豆有望在未来得到更广泛的应用和发展。
截图:
2.在 InternLM Studio
上部署茴香豆技术助手
- 根据教程文档搭建
茴香豆技术助手
,针对问题"茴香豆怎么部署到微信群?"进行提问 - 完成不少于 400 字的笔记 + 截图
笔记:
InternLM Studio 是一个集成了多种大型语言模型(LLM)和相关工具的平台,旨在为用户提供一个便捷的方式来部署和管理智能助理。茴香豆,作为一个基于LLM的领域知识助手,特别适合在群聊环境中提供技术支持和解答。以下是在InternLM Studio上部署茴香豆技术助手的详细笔记。
环境配置
部署茴香豆前,首先需要在InternLM Studio上配置合适的开发环境。这包括选择合适的操作系统镜像、安装必要的运行时库和依赖包。根据茴香豆的文档说明,推荐使用Cuda11.7-conda镜像,这样可以确保与茴香豆的兼容性,并提供所需的计算资源。
模型与依赖安装
接下来,需要下载和安装茴香豆所需的LLM模型。InternLM Studio提供了模型管理功能,可以通过它来导入所需的模型文件。同时,还需要安装茴香豆运行所需的Python依赖包,如transformers、torch等。这些依赖包可以通过pip命令安装,确保环境中包含了所有必要的库。
配置文件修改
茴香豆的工作流程是通过配置文件来控制的。在InternLM Studio上,需要根据实际情况修改配置文件,包括指定模型路径、设置工作目录、调整拒绝阈值等。这些配置直接影响到茴香豆的响应行为和性能,因此需要根据群聊的特点和需求进行细致的调整。
知识库创建
茴香豆的能力在很大程度上取决于其知识库的内容。在InternLM Studio上,可以通过下载相关的语料库和使用特定的工具来创建语料知识的向量数据库,以及接受和拒答两个向量数据库。这些知识库不仅包括技术文档和常见问题解答,还可以包括特定领域的专业内容。
运行与测试
配置完成后,可以在InternLM Studio上启动茴香豆,并进行问答测试。测试的目的是确保茴香豆能够正确地响应该响应的消息、检索知识库并生成准确的回答。在测试过程中,可能需要根据反馈进一步调整配置和知识库内容。
总结
在InternLM Studio上部署茴香豆技术助手是一个涉及多个步骤的过程,从环境配置到模型安装,再到知识库的创建和测试,每一步都至关重要。通过精心的配置和持续的维护,茴香豆能够有效地提供技术支持,帮助用户解决问题,提高工作效率。随着技术的不断进步,茴香豆的功能和性能也将不断优化,为用户提供更好的服务体验。
截图:
进阶作业 - 二选一
A.【应用方向】 结合自己擅长的领域知识(游戏、法律、电子等)、专业背景,搭建个人工作助手或者垂直领域问答助手,参考茴香豆官方文档,部署到下列任一平台。
- 飞书、微信
- 可以使用 茴香豆 Web 版 或 InternLM Studio 云端服务器部署
- 涵盖部署全过程的作业报告和个人助手问答截图
首先在茴香豆Web版中创建计算机视觉的知识库,并添加正反例。
然后参考茴香豆零编程接入飞书,在飞书开放平台中创建企业自建应用,并设置加密策略、回调地址和权限;同时在在茴香豆Web版中填写应用凭证中的App ID和App Secret。发布!
复制茴香豆Web中你的知识库下,Integrate With Lark 中提供的suffix字符串,在飞书群名称后直接添加该suffix。邀请机器人进入群聊,然后开始聊天。
可以看到,机器人能够有选择性地回答计算机视觉相关的问题。