书生·浦语大模型 第一节：初识大模型

视频链接：书生·浦语实战营第一节

技术报告：书生·浦语模型InternLM2技术报告

大模型与常见模型：

        专用模型：针对特定任务，解决一个问题，例如YOLO、AlphaFold等

        通用大模型：一种模型应对多种任务，多种模态，例如ChatGPT、InternLM等

InternLM简介：

        2023年6月7日，书生·浦语大模型InternLM开源

        2024年1月17日，InternLM2开源

        InterLM2三种模型版本（7B：轻量级模型；20B：性能更好模型）
        InternLM2-Base：基础模型
        InternLM2：基于Base模型，可应对大部分实际应用（通用）
        InternLM2-Chat：基于Base模型，针对对话交互进行优化（聊天）

两种版本的性能比较：

InternLM2.0特点：

1. 超长上下文：20万token
2. 综合性能提升：推理、数学、代码，20B比肩ChatGPT
3. 对话与创作：精准指令跟随，丰富的结构化创作
4. 工具调用：可支持工具多轮调用
5. 数理能力和数据分析功能：强化内生计算（不借助计算器等也具有准确的计算能力）

模型应用流程：

 开放体系：

 

数据：http://opendatalab.org.cn/
预训练：浦语训练框架XTuner
微调：
增量续训：类似于预训练，让模型学习新知识（数据：书籍、文章、代码等）
监督微调：让模型学习理解各种指令进行对话，或者注入少量领域知识（高质量对话、问答数据）   
评测：OpenCompass 2.0 司南大模型评测体系
CompassRank：中立全面的性能榜单（大语言模型、多模态模型）
CompassKit：大模型全栈工具链（评测工具，兼容100多种数据集）
CompassHub：高质量评测基准社区
部署：LMDeploy
轻量级智能体：Lagent 、AgentLego