视频链接:书生·浦语实战营第一节
技术报告:书生·浦语模型InternLM2技术报告
大模型与常见模型:
专用模型:针对特定任务,解决一个问题,例如YOLO、AlphaFold等
通用大模型:一种模型应对多种任务,多种模态,例如ChatGPT、InternLM等
InternLM简介:
2023年6月7日,书生·浦语大模型InternLM开源
2024年1月17日,InternLM2开源
InterLM2三种模型版本(7B:轻量级模型;20B:性能更好模型)
InternLM2-Base:基础模型
InternLM2:基于Base模型,可应对大部分实际应用(通用)
InternLM2-Chat:基于Base模型,针对对话交互进行优化(聊天)
两种版本的性能比较:
InternLM2.0特点:
1. 超长上下文:20万token
2. 综合性能提升:推理、数学、代码,20B比肩ChatGPT
3. 对话与创作:精准指令跟随,丰富的结构化创作
4. 工具调用:可支持工具多轮调用
5. 数理能力和数据分析功能:强化内生计算(不借助计算器等也具有准确的计算能力)
模型应用流程:
开放体系:
数据:http://opendatalab.org.cn/
预训练:浦语训练框架XTuner
微调:
增量续训:类似于预训练,让模型学习新知识(数据:书籍、文章、代码等)
监督微调:让模型学习理解各种指令进行对话,或者注入少量领域知识(高质量对话、问答数据)
评测:OpenCompass 2.0 司南大模型评测体系
CompassRank:中立全面的性能榜单(大语言模型、多模态模型)
CompassKit:大模型全栈工具链(评测工具,兼容100多种数据集)
CompassHub:高质量评测基准社区
部署:LMDeploy
轻量级智能体:Lagent 、AgentLego