书生浦语大模型之全链路开源体系笔记

1.大模型成为发展通用人工智能的重要途径

        随着时间发展，大模型同样保持发展并且由专用模型转变为通用大模型，这样一个模型来应对多种任务和多种模态。

2.书生·浦语大模型的开源历程

2023年6月7日，InternLM千亿参数语言大模型发布。
2023年7月6日，InternLM千亿参数大模型全面升级，支持8K语境、26种语言，并全面开源，免费商用。
2023年8月14日，书生万卷1.0多模态预训练语料库开源发布。
2023年8月21日，升级版对话模型InternLM-Chat-7B v1.1发布，同时开源智能体框架Lagent，支持从语言模型到智能体升级转换。
2023年8月28日，InternLM千亿参数模型参数量升级到123B。
2023年9月20日，增强型InternLM-20B开源，开源工具链全线升级。
2024年1月17日，InternLM2开源。

3.书生·浦语2.0的体系

7B：为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B：模型的综合性能更为强劲，可有效支持更加复杂的使用场景

4.回归语言建模的本质

        InternLM2的核心理念在于回归语言建模的本质

5.书生·浦语2.0的主要亮点

(1).超长上下文
模型在20万token上下文中，几乎完美实现“大海捞针”。

(2).综合性能全面提升
推理、数学、代码提升显著InternLM2- Chat-20B在重点评测上比肩ChatGPT。

(3).优秀的对话和创作体验
精准指令跟随，丰富的结构化创作，在AlpacaEval2超越GPT-3.5和Gemini Pro。

(4).工具调用能力整体升级
可靠支持工具多轮调用，复杂智能体搭建。

(5).突出的数理能力和实用的数据分析功能
强大的内生计算能力,加入代码解释后，在GSM8K和MATH达到和GPT-4相仿水平。

6.性能全方位提升

        在各能力维度全面进步，在推理、数学、代码等方面的能力提升尤为显著，综合性能达到同量级开源模型的领先水平，在重点能力评测上InternLM2-Chat- 20B甚至可以达到比肩ChatGPT (GPT-3.5) 的水平

7.全链条开源开放体系

预训练

书生·浦语大模型使用了InternLM-Train进行预训练。InternLM-Train是一个基于Transformer架构的预训练模型，它具有1040亿参数，通过在书生·万卷数据集上进行训练，使模型具备了强大的语言理解和生成能力。它支持从 8 卡到千卡训练，千卡训练效率达 92%；无缝接入 HuggingFace 等技术生态，支持各类轻量化技术。

微调

评测

其应用也十分广泛：

部署

智能体

多模态智能体工具箱AgentLego

丰富的工具集合，尤其是提供了大量视觉、多模态相关领域的前沿算法功能

支持多个主流智能体系统，如LangChain, Transformers Agent, lagent 等

灵活的多模态工具调用接口，可以轻松支持各类输入输出格式的工具函数

一键式远程工具部署，轻松使用和调试大模型智能体

以上就是关于开源开放体系的有关笔记！