基础岛-1.书生大模型全链路开源体系-学习笔记

最新推荐文章于 2024-09-12 08:54:42 发布

C.s

最新推荐文章于 2024-09-12 08:54:42 发布

阅读量783

点赞数 16

文章标签：学习笔记

本文链接：https://blog.csdn.net/weixin_43806237/article/details/140865242

版权

声明：该笔记为个人学习笔记，如有理解不到位的地方或者错误的地方恳请指正。

学习链接：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

一、引言

书生浦语大模型的全链路开源体系详细介绍了其发展历程和特点。作为通用人工智能的重要途径，大模型能够解决多种任务和多种模态。书生浦语大模型具备超长上下文能力，其综合性能得到全面提升，能够实现结构化创作和可靠的数据分析。同时，模型强化了内生计算能力和代码解释器，在多个能力维度上取得了优异的评测结果。

自21世纪深度学习理论取得突破以来，各类专用模型不断涌现并表现出色。虽然针对特定任务的专用模型引发了广泛关注，但一个模型应对多种任务、多种模态的通用大模型正逐渐成为人工智能的发展趋势。

二、InternLM模型介绍

2023年6 月 7 日InternLM 干亿参数语言大模型发布。

InternLM 2于2024年1月17日开源，包含两个规格（7B和20B）和三个不同版本（InternLM2-Base、InternLM2、InternLM2-Chat）。每个版本都根据不同的需求进行了优化，从轻量级研究到复杂使用场景，再到对话交互应用，InternLM 2展示了其在多方面的强大性能和适应性。

7B：提供了一个轻便但性能不俗的模型，适用于轻量级研究和应用。
20B：综合性能更为强劲，能够有效支持更加复杂的使用场景。
InternLM2-Base：一个高质量且具有很强可塑性的模型基座，适合作为模型进行深度领域适配的高质量起点。
InternLM2：在大规模无标签数据上进行进一步预训练，并结合特定领域的增强语料库进行训练。该版本在评测中表现优异，同时保持了良好的通用语言能力，是我们推荐用于大部分应用的优秀基座。
InternLM2-Chat-SFT：基于InternLM2-Base模型进行了有监督微调，是InternLM2-Chat模型的中间版本。我们将其开源以助力社区在对齐方面的研究。
InternLM2-Chat：在InternLM2-Chat-SFT基础上进行了在线RLHF进一步对齐，优化了对话交互能力。该模型具有良好的指令遵循、共情聊天和调用工具等能力，是我们推荐直接用于下游应用的模型。

InternLM2回归语言建模的本质，使用新一代数据清洗过滤技术通过多维度数据价值评估、高质量语料驱动的数据富集和有针对性地数据补齐，提升模型下游任务的性能。