L1-书生大模型全链路开源开放体系

学习视频链接：

1.书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

2.书生·浦语大模型全链路开源开放体系

一、大模型成为发展通用人工智能的重要途径

1. 专用模型：针对特定任务，一个模型解决一个问题（初期）

2. 通用大模型：一个模型应对多种任务、多种模态（近两年），如chatgpt

二、书生浦语大模型开源迭代

1、迭代历程

2、迭代核心技术思路

（1）模型迭代

（2）高质量合成数据

基于规则的数据构造

->对代码、公式、函数、数学解题等基于规则进行构造伪格式化（半格式化）

基于模型的数据扩充

->基于模型做数据扩充例如商业领域、计算领域等

给予反馈的数据生成

->基于人类反馈的强化训练，如满意度排序反馈进行数据生成

三、书生浦语大模型开源体系性能提升

四、书生浦语2.5技术亮点

1.推理能力领先（相较于internLM2.0推理性能提升20%）

2.支持100万字上下文（百万字长文理解和精确处理）

大海捞针实验：给模型提供海量背景知识，让模型定位文本中任何信息 

自主InternLM2.5的表现全绿

3.规划和搜索完成复杂任务（基于搜索引擎工具通过信息搜索和整合，针对复杂问题撰写专业回答）

五、书生浦语开源模型谱系 

六、书生浦语开源生态全链条

数据->预训练->微调->部署->评测->应用

1、数据

（1）开源数据处理工具箱 

2、预训练 InternEvo 

3、微调Xtuner

4、OpenCompass 评测体系

评测过程：工具-基准-榜单 三位一体

5、部署LMdeploy

6、应用

智能体框架Lagent

->智能体MInd Search

模拟人类思维逻辑可视化

 

 ->茴香豆

特性：