背景
随着人工智能技术的迅猛发展,大型模型已成为当前人工智能领域的焦点。2022年11月30日,美国OpenAI公司发布了通用对话系统ChatGPT,仅上线60天月活跃用户超过1亿,创下互联网应用历史最快用户增长记录。2023年3月14日,OpenAI发布升级版GPT-4,展现出更高级别的能力,再次引领技术飞跃,并掀起全球大型模型发展的热潮。不仅国际科技巨头积极加大投入,推动大型模型产业快速落地,国内头部企业也积极追赶步伐,竞相进军大型模型的新领域,抓住认知智能大型模型带来的历史机遇。
浦语大模型
浦语大模型自2023年起逐步实现了开源,目前最新版本为浦语2.0:
InternLM2-Base
InternLM2
InternLM2-Chat
通过新一代数据清洗过滤技术,InternLM2在大规模高质量验证语料和下游任务中显著提升。
以20B开源大模型为例,其性能全面领先相近量级的开源模型(包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型),以不足三分之一的参数量,达到Llama2-70B水平。
全链路开源体系
全链路开源体系,涵盖从数据到应用的开源开放体系。
数据: 开放了书生万卷,具有2TB数据,涵盖多种模态与任务
预训练: 开源了InternLM-Train框架,支持并行训练,进行了极致优化,速度达到3600 tokens/sec/gpu
微调: 开源了XTuner框架,支持 全参数微调,支持LoRA等低成本微调
部署: 开源了LMDeploy框架,支持全链路部署,性能领先,每秒生成2000+ tokens
评测: 开源OpenCompass框架,支持全方位评测,性能可复现,80套评测集,40万道题目
应用: 开源了Lagent、AgentLego项目,支持多种智能体,支持代码解析器多种工具调用