书生大模型(InternLM)由上海人工智能实验室主导开发,致力于开源高质量的大型语言模型(LLM)以及相关的全链路开发和应用工具。这个体系包含了基础模型、多语言支持、跨模态模型、轻量化预训练与微调框架、模型压缩和部署工具,以及面向特定领域的应用。
一、基础模型
InternLM:InternLM 是一系列多语言基础模型和聊天模型,最新发布的 InternLM2.5数学推理能力出色,性能优于Llama3 和 Gemma2-9B 等同类模型,支持高达 1M 长上下文输入,且能从超过 100 个网页中获取信息。
InternLM-Math:专注于数学推理,支持中英双语的高级数学问题解决,显著超越ChatGPT的表现,还支持通过代码解释器辅助解决数学问题和生成合成数据。
InternLM-XComposer:一个基于 InternLM 的视觉-语言大模型(VLLM),支持高级的文本与图像理解和生成,拓展了基础模型在多模态任务中的应用能力。IXC-2.5 能处理高达96K长度的图文上下文,适用于需要广泛输入输出的复杂任务,同时配备560×560像素的ViT视觉编码器,支持高分辨率图像处理。在测试方面IXC-2.5 在28项基准测试中取得了优异表现,超过了当前开源最先进的模型(SOTA)在其中16项基准上的成绩。
二、全链路工具链
InternEvo:轻量化的大规模模型预训练和微调框架。InternEvo 支持在大规模集群上进行预训练,能够在成千上万的 GPU 上高效运行,同时其代码库简洁且易于使用,减少了对外部依赖的需求,保证了框架的轻量化和高效性。
XTuner:一个功能完备且灵活的 LLM 微调工具包,支持多种主流模型(如 InternLM2、Llama3 等)以及多种微调算法。XTuner 可以在短时间内帮助用户完成特定任务的微调。
LMDeploy:主要用于模型的压缩、部署和服务。LMDeploy 能够通过模型压缩技术减少资源消耗,提升模型部署和服务的效率。
Lagent:提供了构建基于 LLM 的智能体的轻量化框架,帮助用户快速开发高效的智能体应用。
AgentLego:一个多功能工具 API 库,用于扩展 LLM 基础的智能体应用,并兼容 Lagent、Langchain 等主流框架。
OpenCompass:大模型的评估平台,提供公开、公正、可复现的基准测试工具,便于开发者评估模型性能。
OpenAOE:一个开箱即用的对话界面,便于多模型的对比实验,为用户提供便捷的对比环境。
三、典型应用
HuixiangDou:一个专门面向技术问题的领域智能助手,具备预处理、拒答和响应三阶段管道,能确保在不同的对话场景中精确高效地回答问题。。
MindSearch:一个多智能体驱动的搜索引擎框架,支持 LLM 跨多领域信息的搜索与整合,通过数百个网页的浏览,为用户提供更加广泛和深入的答案。在测试方面其深度、广度和真实性远超ChatGPT-Web和Perplexity.ai(Pro)。