nty102的博客

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。列出所有跟 InternLM 及 C-Eval 相关的配置。

可以感知环境中的动态条件。能采取动作影响环境。能运用推理能力理解信息、解决问题、产生推断、决定动作。

接下来修改 /root/AgentLego/agentlego/agentlego/tools/__init__.py 文件，将我们的工具注册在工具列表中。AgentLego 所实现的目标检测工具是基于 mmdet (MMDetection) 算法库中的 RTMDet-Large 模型，因此我们首先安装 mim，然后通过 mim 工具来安装 mmdet。由于 AgentLego 在安装时并不会安装某个特定工具的依赖，因此我们接下来准备安装目标检测工具运行时所需依赖。（大小写敏感）的方法新建工具文件。

两种Finetune范式LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等；指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据；LoRA。

1，环境安装2、数据准备3、模型准备4、配置文件修改修改，5、模型训练6、训练过程。

在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理,高效的推理。

由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy。

RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。提取知识库特征，创建向量数据库。数据库向量化的过程应用到了。的相关模块，默认嵌入和重排序模型调用的网易。从本地使用 ssh 连接 studio 端口。相关的新增知识就以向量数据库的形式存储在。文件中指定本地模型路径，茴香豆将自动从。用已下载模型的路径替换。安装茴香豆运行所需依赖。

【代码】Demo(作业)

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

书生·浦语大模型的全链路开源体系，重点在于通用人工智能的发展趋势，特别是从特定任务模型向通用大模型的转变，以及书生模型在7月、9月和1月的升级，包括支持多模态、8K语境和不同尺寸的模型，以及在语言建模能力、对话交互和智能体框架方面的提升。书生·浦语2.0升级，采用新一代的数据过滤技术；主要亮点；从模型到应用的典型流程；

3、opencompass开源评测平台架构。

【代码】大模型评测教程OpenCompass(homework)

LMDeploy大模型量化部署实践

作业主要内容：

LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式；1、增量预训练微调使用场景: 让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等2、指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据不同模型的对话模板均不相同；

目标：通过微调，帮助模型认清的身份方式：使用XTuner进行微调。

复现课程知识库助手搭建过程。