【InternLM 大模型全链路开源体系笔记】

大模型成为发展通用人工智能的重要途径

• 专用模型：针对特定任务，一个模型解决一个问题。例如：语音识别、人脸识别、围棋比赛、蛋白质结构预测等等。
• 通用大模型：一个模型可以解决多种任务、多种模态任务。

InternLM2体系

InternLM2开源了7B和20B模型，每个模型面对不同的使用需求包括了三个模型版本。

• InternLM2-Base：高质量和具有很强可塑性的模型基座，是模型进行深度领域适配的高质量起点。
• internLM2：在Base的基础上，在多个能力方向进行了强化，在评测中成绩优异，同时保持了很好的通用语言能力。
• InternLM2-Chat：在Base基础上经过SFT和RLHF，面相对话交互进行了优化，具有很好的指令遵循、共情聊天和调用工具的能力。

InternLM2的主要亮点

• 超长上下文：模型在20万token上下文中，几乎完美实现“大海捞针”。
• 综合性能全面提升：推理、数学、代码提升显著InternLM2-Chat-20B在重点评测上比肩ChatGPT。
• 优秀的对话和创作体验：精准指令跟随，丰富的结构化创作，在AlpacaEval2超越GPT3.5和Gemini Pro。

工具调用能力整体升级：可靠支持工具多轮调用，复杂智能体搭建。

从模型到应用典型流程

        首先进行模型选型，根据业务场景是否复杂选择是否进行微调；如果选择微调，根据算力条件选择全参数微调或部分参数微调；根据是否需要与环境交互选择是否构建智能体，然后进行模型评测并部署模型。

InternLM2全链条开源开放体系
包含了数据、预训练、微调、部署、评测、应用。

数据：书生·万卷

• 书生万卷1.0 2TB
• 书生万卷CC 400GB
• 开源数据集平台OpenDataLab

预训练：InternLM-Train

• 支持从8卡到千卡扩展
• Hybrid Zero+优化提速50%
• 无缝接入HuggingFace
• 开箱即用

微调：XTuner

适配多种生态

• 多种微调算法：LoRA、QLoRA、全量参数微调等
• 适配多种开源生态：支持加载HuggingFace、ModelScope模型或数据集
• 自动优化加速

适配多种硬件

• 适配NVIDIA 20系以上所有显卡
• 最低只需8GB显存即可微调8B模型

评测：OpenCompass

• CompassKit：大模型评测全栈工具链
• CompassHub：高质量评测基准社区
• OpenCompass：综合性客观评测年度榜单

部署：LMDeploy

• 提供大模型在GPU上部署的全流程解决方案，包括模型的轻量化、推理和服务。

智能体：AgentLego

• 提供了大量视觉、多模态相关领域的前沿算法功能
• 支持多个主流智能体系统，如：LangChain、Transformers Agent，lagent等
• 多模态工具调用接口灵活，支持各类输入输出格式的工具函数
• 一键式远程工具部署、轻松使用和调试大模型智能体。