InternLm训练营第一节笔记

第一讲主要介绍①模型到应用的流程②全链条开源开放体系③internLM2亮点

模型到应用典型流程

 

 全链条开源开放体系

数据—书生万卷

2TB数据，涵盖多种模态与任务

预训练—internLm-Train

并行训练，极致优化，速度可达3600tokens/sec/gpu

微调—XTuner

支持全参数微调，支持LoRA等低成本微调

常用到增量续训和有监督微调两种方式

增量续训

使用场景：让基座模型学习新知识，如某个垂类领域知识

训练数据：文章，书籍，代码等

有监督微调

使用场景：让模型学会理解各种指令进行对话，或注入少量领域知识

训练数据：高质量对话，问答数据

部署—LMDeploy

全链路部署，每秒生成2000+tokens

提供大模型在GPU上部署的全流程解决方案，包括模型轻量化，推理和服务

优点

高效推理引擎：持续批处理技巧，深度优化的低比特计算kernels，模型并行和高效的k/v缓存管理机制

完备易用的工具链：量化推理服务全流程，无缝对接OpenCompass评测推理精度

支持交互式推理，不为历史对话买单

评测—OpenCompass

全方位测评，性能可复现

应用—Lagent AgentLego

支持多种智能体，支持代码解释器等多种工具

多模态智能体工具箱AgentLego

丰富的工具集合，提供大量视觉，多模态相关领域的前沿算法功能

支持多个主流智能体系统，如LangChain等

灵活的多模态工具调用接口，可以轻松支持各类输入输出格式的工具函数

一键式远程工具部署，轻松使用和调试大模型智能体

InternLM2主要亮点