【 InternLM 大模型开源社区第三期（夏季闯关）】基础岛第1关

ylzt777

已于 2024-08-08 10:55:55 修改

阅读量261

点赞数 11

文章标签：人工智能

于 2024-08-08 10:05:09 首次发布

本文链接：https://blog.csdn.net/weixin_54201936/article/details/141018141

版权

书生·浦语大模型开源历程

书生大模型自2021年6月首次发布以来，经历了快速的迭代和发展。在短短一年时间内，书生大模型完成了多次重大升级，包括千亿参数模型的全面升级、支持8K语境和26种语言、推出7B开源模型和全链条工具体系、发布书生万卷1.0多模态预训练语料库、升级对话模型并开源智能体框架等。

在这里插入图片描述

InternLM 2于2024年1月17日开源，包含两个规格（7B和20B）和三个不同版本（InternLM2-Base、InternLM2、InternLM2-Chat）。每个版本都根据不同的需求进行了优化，从轻量级研究到复杂使用场景，再到对话交互应用，InternLM 2展示了其在多方面的强大性能和适应性。
在这里插入图片描述

7B：提供了一个轻便但性能不俗的模型，适用于轻量级研究和应用。
20B：综合性能更为强劲，能够有效支持更加复杂的使用场景。
InternLM2-Base：一个高质量且具有很强可塑性的模型基座，适合作为模型进行深度领域适配的高质量起点。
InternLM2：在大规模无标签数据上进行进一步预训练，并结合特定领域的增强语料库进行训练。该版本在评测中表现优异，同时保持了良好的通用语言能力，是我们推荐用于大部分应用的优秀基座。
InternLM2-Chat-SFT：基于InternLM2-Base模型进行了有监督微调，是InternLM2-Chat模型的中间版本。我们将其开源以助力社区在对齐方面的研究。
InternLM2-Chat：在InternLM2-Chat-SFT基础上进行了在线RLHF进一步对齐，优化了对话交互能力。该模型具有良好的指令遵循、共情聊天和调用工具等能力，是我们推荐直接用于下游应用的模型。

InternLM2回归语言建模的本质，使用新一代数据清洗过滤技术通过多维度数据价值评估、高质量语料驱动的数据富集和有针对性地数据补齐，提升模型下游任务的性能。

书生·浦语大模型全链路开源体系

书生大模型的全链条工具体系是其开源开放体系的重要组成部分，涵盖了数据、预训练、微调、部署、评测和应用等多个环节。在数据方面，书生大模型提供了书生万卷和书生外传CC等高质量的多模态数据集。在预训练方面，书生大模型开发了intlevo预训练框架，支持从8卡到千卡级的训练，并实现了92%的加速效率。在微调方面，书生大模型提供了x tuner微调框架，支持增量训练和有监督微调等多种微调策略。在部署方面，书生大模型开发了m deploy部署解决方案，支持模型的轻量化推理和服务。在评测方面，书生大模型发布了open compass评估体系，提供了全面的性能榜单和评测工具链。在应用方面，书生大模型开源了legend智能体框架和agent lego工具箱，支持多种智能体能力和服务。

在这里插入图片描述

书生·浦语大模型全链路开源体系通过开源涵盖数据、预训练、微调、部署、评测和应用的全链条环节，为开发者提供了一整套完善的工具和框架，显著提升了模型的开发效率和应用效果。

数据：提供了2TB的数据，涵盖多种模态和任务。
预训练：开源了InternLM - train，并行训练，极致优化，速度达到 3600。
微调：提供了X Tuner框架，支持全参微调和LoRA等低成本微调方法。
部署：使用LMDeploy工具，全链路部署，每秒生成 2000+tokens，便于模型的部署和管理。
评测：提供了OpenCompass等工具，全方位评测，100 套评测集，50 万道题目用于模型性能评测。
应用：支持多种智能体，支持代码解释器等多种工具，方便模型在各种实际场景中的应用。

模型应用开发流程

模型选型考虑业务场景是否复杂。如果业务场景，比如说是比较复杂业务场景，我们就可能去需要去对模型进行微调。模型微调的话，我们需要进一步去考虑我们目前的算力它是否足够。如果是比如说有充足的算力，我们就可以去进行模型的这种训练或者全参数的微调。如果算力非常有限，可能只能去进行部分参数的微调。然后就构建智能体，模型的评测以及后面的模型部署。

开源数据集

在这里插入图片描述

预训练&微调

开发了预训练框架和X Tuner微调框架来实现模型的训练和微调。

在这里插入图片描述

模型评测OpenCompass

OpenCompass是一个开源开放的大模型评测平台。OpenCompass构建了一个包含学科、语言、知识、理解、推理五大维度的通用能力评测体系，并支持多种评测指标。

在这里插入图片描述

模型部署LMDeploy

LMDeploy提供大模型在GPU上部署全流程解决方案，包括模型轻量化、推理和服务。

在这里插入图片描述

轻量级智能体框架Lagent

一个轻量级的智能体框架lagent和多模态智能体工具箱agentlego。
在这里插入图片描述

参考资料

ylzt777

关注

11
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
【 InternLM 大模型开源社区第三期（夏季闯关）】基础岛第1关

书生大模型的全链条工具体系是其开源开放体系的重要组成部分，涵盖了数据、预训练、微调、部署、评测和应用等多个环节。在短短一年时间内，书生大模型完成了多次重大升级，包括千亿参数模型的全面升级、支持8K语境和26种语言、推出7B开源模型和全链条工具体系、发布书生万卷1.0多模态预训练语料库、升级对话模型并开源智能体框架等。书生·浦语大模型全链路开源体系通过开源涵盖数据、预训练、微调、部署、评测和应用的全链条环节，为开发者提供了一整套完善的工具和框架，显著提升了模型的开发效率和应用效果。一个轻量级的智能体框架。
复制链接

扫一扫