通过这篇简介,可以简要了解一下书生·浦语整个开放体系的主要结构和链路。
从模型的开源开放体系、数据收集整理、模型训练、微调、评测、搜索引擎到AI应用的部署等方面进行了介绍。其中,最新版本的书生·浦语大模型2.5在推理能力和短期记忆等方面有质的飞跃,同时开源了labelLLM项目方便标注数据。
概览:
书生·浦语系列开放体系中,目前最具有代表性的就是书生·浦语2.5,特点:
- 相对于Intern LM 2来说,综合推理能力性能提升20%
- 支持超长背景文字的理解、精确处理
- 自主规划、搜索并可以完成较为复杂的任务。
核心技术思路:
在当前模型的基础上,通过数据过滤,智能评估生成预训练数据;以及指令生成、辅助标注生成对其数据,并获取下个版本的模型,循环往复进行迭代。
在数据合成方案中,大致使用三种核心思路创造合成高质量数据:
- 基于规则构造数据:比如代码、公式等格式或者半格式化去塑造数据;
- 基于模型的数据扩充:在一些基础代码中增加符合更多需求的功能代码;
- 基于反馈:也就是通过人工提示的方式去主观优化。值得的是,在这种方法中,可以通过lableLLM开源工具进行NLP标注。
领先的推理能力:
通过大海捞针实验,模型在处理超长背景知识的时候,具有良好的表现。在十万TOKEN中可以百分百定位;在百万级也基本上都可以覆盖。
同时,可以提供更好语言模型分析的,尤其在跨文档的理解、支持逻辑自洽上,在未来有可能更通用地替代RAG的方式。
在基于规划和抖索解决复杂问题方面,模型也表现出与人类更为贴近的思考过程,并可以通过类似脑图的形式进行分步骤的表现形式。
全链条开源:
从数据、预训练、微调、部署、评测、应用六个关键环节均有一系列的模型,并可融入社区生态。
- 数据:书生万卷:惊喜处理的开源多模态语料库。
- 具有海量及的开放数据,并提供服务于工具。
- 在数据提取方面,可以使用minerU https://github.com/opendatalab/MinerU
- Label LLM Label U——数据标注很好用,比如在问答、对话、偏好等,甚至是视频标注。
- InternEvo:预训练的框架
- 进行了性能优化,尤其是分布式训练
- XTuner:多种微调、偏好对齐,支持千亿级别的参数,百万级上下文
- 致力于 零显存浪费的偏好对其方案
- 支持很多其他开源模型,由多种微调算法、偏好对其算法,并具有自动优化加速,适配多种硬件
- OpenCompass:开源评测体系
- 司南评测是大模型评测国标的主要参与单位。
- 工具 基准 榜单三位一体。
- 助力通用人工智能发展。
- LMDeploy:部署框架
- 支持主流接口,量化、引擎、服务。
- 应用:具有mindsearch, lagend, minerU,茴香豆等不同领域的饮用。
- 从LLM向智能体Agent的发展:更新的知识获取,回复可靠性、数据计算,以及和其他API或者工具的交互使用。
- 轻量级智能体Lagent:支持多种类型,比如React,Rewoo,AutoGPT;并且可以支持多种大语言模型,以及其他工具。
- 茴香豆:企业级的知识库构建工具,开源、务实,支持7中文档格式的更新生效;简单便宜,扩展性强。