书生·浦语大模型全链路开源开放体系-笔记

推理能力领先

与社区开源模型相比，InternLM2的性能提升了20%，这表明模型在处理复杂推理任务时更加高效和准确。

支持100万字上下文

该模型能够理解和精确处理长达100万字的文本，这在开源模型中处于领先地位。这种能力对于处理长篇文章、学术论文和大型文档至关重要。

自主规划和搜索完成复杂任务

AI模型通过信息搜索和整合，能够撰写专业回答，针对复杂问题提供解决方案。这种自主规划和搜索的能力使得处理效率提升了60倍。

模型能力飞升

当前模型
数据过滤智能评估：模型能够智能评估和过滤数据，以提高训练质量。
指令生成辅助标注：通过生成指令来辅助数据标注，提高数据标注的效率和准确性。
持续迭代：模型通过持续迭代不断优化自身性能。
预训练数据：利用大量预训练数据来提升模型的初始性能。
对齐数据：确保数据的一致性和准确性，以提高模型的泛化能力。

核心技术思路

高质量合成数据
基于规则的数据构造：使用规则来构造数据，如代码、公式和数学题解。
基于模型的数据扩充：通过模型生成的数据来扩充训练集。
基于反馈的数据生成：根据用户反馈生成数据，以提高数据的相关性和质量。
融合多种数据合成方案：结合多种数据合成方法，提升合成数据的整体质量。

InternLM2.5-7B大海捞针效果

在文档中不同位置的平均深度分数显示，InternLM2.5-7B在处理长文档时的性能优于其他模型，如GLM4-9B-Chat-1M和Qwen2-7B-Instruct。

基于规划和搜索解决复杂问题

人的解决思路
用户需求：明确用户的需求。
问题分析：分析问题的核心。
思维路径拆解：将问题拆解为可管理的部分。
相关信息检索：检索相关信息。
内容整合：整合检索到的信息。
问题回复：给出问题的答案。
书生·浦语 2.5的解决思路
用户需求：明确用户需求。
规划器：规划解决问题的步骤。
问题分析：分析问题。
思维路径拆解：拆解问题。
内容整合：整合信息。
检索器：使用搜索引擎检索信息。
搜索引擎：利用搜索引擎获取海量搜索结果。
筛选精读：筛选并精读搜索结果。
问题回复：给出问题的答案。
多智能体协作：通过多个智能体协作来提高处理效率，如单次浏览100+网页。

数据与应用

MindSearch：思索式开源搜索应用。
Lagent：首个支持代码解释器的智能体框架。
书生·万卷：基于专业知识库的群聊助手。
MinerU：高效文档解析工具。
HuixiangDou：基于专业知识库的群聊助手。
InternEvo：性能超过国际主流训练框架。
OpenCompass：社区最全面的开源评测体系。
DeepSpeed：系列模型。
XTuner：多种微调和偏好对齐算法。
LMDeploy：支持千亿参数+百万上下文。
LLaMA-Factory：LLM。
LLaMA：支持千亿参数+百万上下文。
LM Studio：Hugging Face。
TensorRT-LLM：MLX。
LangChain：LlamaIndex。
llamafile：ollama。

数据提取

Miner U
一站式开源高质量数据提取工具：支持多格式(PDF/网页/电子书)，智能萃取，生成高质量预训练/微调语料。
复杂版面/公式精准识别：性能超过商业软件。

Label LLM
专业致力于LLM对话标注：通过灵活多变的工具配置与多种数据模态的广泛兼容，为大模型量身打造高质量的标注数据。
支持指令采集、偏好收集、对话评估：多人协作、任务管理、源码开放可魔改。

Label U
轻量级开源标注工具：自由组合多样工具，无缝兼容多格式数据，同时支持载入预标注，加速数据标注效率。
支持图片、视频、音频多种数据标注：小巧灵活，AI标注导入二次人工精修。

全链条开源开放体系微调 XTuner

高效微调框架 XTuner
InternLM：增量预训练，多模态微调，Alignment。
支持算法：QWen BaiChuan，Sequence Parallel，DeepSpeed ZeRO，Flash Attention，Pytorch FSDP。
适配多种硬件：训练方案覆盖 NVIDIA 20系以上所有显卡，最低只需 8GB显存即可微调 7B模型。
适配多种生态
多种微调算法：覆盖各类应用场景。
适配多种开源生态：支持加载HuggingFace、ModelScope模型或数据集。
自动优化加速：开发者无需关注复杂的显存优化与计算加速细节。
大语言模型的局限性与智能体
大语言模型的局限性
最新信息和知识的获取：大语言模型在获取最新信息和知识方面存在局限性。
回复的可靠性：需要提高回复的可靠性。
数学计算：需要加强数学计算能力。
工具使用和交互：需要提高工具使用和交互能力。

LLM智能体

Agent：LLM智能体通过Plan-Act Iteration、Observations等机制，提高大语言模型的交互和执行能力。
PythonExecutor：执行器，提高模型的执行能力。
Plan-then-Act：规划后执行，提高模型的规划和执行能力。
LLM Reflexion：反射机制，提高模型的自我反思能力。

智能体 Lagent

轻量级智能体框架 Lagent
支持多种类型的智能体能力：ReAct，ReWoo，AutoGPT。
灵活支持多种大语言模型：GPT-3.5/4，InternLM，Hugging Face，Llama，Transformers。
简单易拓展：支持丰富的工具，如Rapid API，文生图搜索，出行API，计算器，文生语音，财经API等。
计划拆分：通过DAG等机制，提高智能体的计划和执行能力。

LMDeploy

LMDeploy是一个高效的推理和部署平台，具有以下特点：

高效的推理：提供可靠的量化和卓越的兼容性。
便捷的服务：支持Python推理接口、RESTful接口和gRPC接口。
有状态的推理：允许模型在推理过程中保持状态。
量化：支持Weight-only量化和K/V Cache量化。
引擎：使用TurboMind推理引擎和PyTorch推理后端。
服务：支持类OpenAI服务、Gradio和Triton推理服务。
LLMs
以下是一些大型语言模型（LLMs）的列表：

Llama：7B-65B参数
Llama2：7B-70B参数
Llama3：8B, 70B参数
Llama3.1：8B, 70B参数
InternLM：7B-20B参数
InternLM2：7B-20B参数
InternLM2.5：7B参数
QWen：1.8B-72B参数
QWen1.5：0.5B-110B参数
QWen1.5-MoE：0.5B-72B参数
QWen2：0.5B-72B参数
Baichuan：7B参数
Baichuan2：7B-13B参数
Code Llama：7B-34B参数
ChatGLM2：6B参数
GLM4：9B参数
CodeGeeX4：9B参数
Falcon：7B-180B参数
YI：6B-34B参数
Mistral：7B参数
DeepSeek-MoE：16B参数
DeepSeek-V2：16B, 236B参数
Mixtral：8x7B, 8x22B参数
Gemma：2B-7B参数
Dbrx：132B参数
StarCoder2：3B-15B参数
Phi-3-mini：3.8B参数
VLMs
以下是一些视觉语言模型（VLMs）的列表：

LLaVA：1.5, 1.6版本，7B-34B参数
InternLM-XComposer2：7B, 4khd-7B参数
InternLM-XComposer2.5：7B参数
QWen-VL：7B参数
DeepSeek-VL：7B参数
InternVL-Chat：v1.1-v1.5版本
InternVL2：1B-40B参数
MiniGeminiLlama：7B参数
CogVLM-Chat：17B参数
CogVLM2-Chat：19B参数
MiniCPM-Llama3-V-2：未提供参数
Phi-3-vision：4.2B参数
GLM-4V：9B参数