厚积而薄发

Search-R1：基于强化学习的自主搜索推理框架 Search-R1提出了一种创新框架，通过强化学习训练大模型自主决定搜索时机、查询构造和多轮推理。该研究解决了传统RAG被动接受搜索结果和Prompting泛化能力差的问题，将搜索引擎整合为RL环境的一部分。核心创新包括： 检索Token掩码技术，避免优化无关内容 结果导向的奖励机制，仅评估最终答案准确性 马尔可夫决策过程建模搜索交互 实验表明，经过训练的模型能主动增加有效搜索次数（从1.4次提升至2.0次），输出长度随训练动态调整，最终实现准确率显著提升

CT-LLM 是一个 2B 的 LLM，在 1200B 的 token 上预训练，包括 800B 的中文 token、300B 的英文 Token、100B 的代码 token，以提高模型理解和处理中文的能力。CT-LLM 不仅在中文基准 CHC-Bench 上表现出色，还可以通过 SFT 熟练处理英语任务。与以往的 LLM 不同（主要在英语语料上训练，然后改编为其他语言），该 LLM 以中文为主。2B的中文LLM：CT-LLM大规模的预训练中文语料（800B）：MAP-CC。