书生大模型实战闯关--第四关

书生大模型实战闯关–第四关

1. 书生·浦语大模型开源开放体系–开源一周年发展历程

（不只是InternLM模型，是整个开源体系）

2. 性能飞跃

2.1 领先其他同量级开源模型的推理能力

2.2 100万 Token 上下文（大海捞针实验）

大海捞针实验：给模型提供一段非常长的背景知识时，模型是否能完美地定位其中任何位置的任何信息。

思考：文档长度为900000时，分数甚至略高于文档长度为1000000时，说明文档长度是影响得分的重要因素，但不是唯一因素，可能文档内容中的逻辑关系或者字词的复杂度也会影响得分。

2.3 基于规划和搜索解决复杂问题

模拟人的解决思路

3. 核心技术思路（数据质量驱动模型性能）

最终还是数据质量驱动模型性能。

三种策略：

4. 书生·浦语开源模型谱系（涌现现象）

四个量级模型和三种模态：

涌现现象：20B的模型开始有涌现的现象，即没有见过的内容也能做出有效反馈。

5. 全链条开源生态总览图（全部开源了）

5.1 全链条开源开放体系–数据

5.2 全链条开源开放体系–开源数据处理工具箱

三种工具的功能介绍：

5.3 全链条开源开放体系–预训练 InternEvo

可以降低硬件要求和提高效率。

5.3 全链条开源开放体系–微调 XTuner

XTuner的一些评测：

5.4 全链条开源开放体系–OpenCompass 评测体系

5.5 全链条开源开放体系–部署 LMDeploy

5.5 全链条开源开放体系–智能体

Lagent 智能体：

MindSearch 智能体：

右边会显示思路，可视化展现思维路径。

6. HuixiangDou–企业级知识库构建工具

HuixiangDou的特性：

总结：

本次闯关，了解了书生·浦语大模型开源开放体系开源一周年的发展历程；以及书生·浦语大模型性能飞跃的三个方面；核心技术思路：数据质量驱动模型性能；认识了书生·浦语开源模型谱系的四个量级模型和三种模态，明白了什么是涌现现象；认识了全链条开源开放体系各个环节以及工具；了解了HuixiangDou的基本信息和特性。