c_cpp_csharp的专栏

OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis》一文主要解决的是当前“深度研究智能体（Deep Research Agents）”在获取长视距（Long-Horizon）推理与搜索训练数据时面临的成本高、环境不稳定以及难以复现等痛点。现有的数据收集往往高度依赖诸如 Google Search 等商业在线搜索引擎 API，这使得大规模生成试错轨迹变得极其昂贵且不可控。

人类反馈在使大型语言模型（LLMs）与人类偏好对齐方面发挥着关键作用。然而，此类反馈往往存在噪声或不一致性，这会降低奖励模型的质量并阻碍对齐过程。尽管已有多种自动化数据清洗方法被提出以缓解这一问题，但对其有效性和泛化性的系统性评估仍较为缺乏。为填补这一空白，我们首次引入了一个全面的基准测试PrefCleanBench，用于评估LLM对齐场景下的13种偏好数据清洗方法。该基准提供了标准化协议，从对齐性能以及在不同数据集、模型架构和优化算法上的泛化性等方面评估清洗策略。

随着高质量公开文本逐渐枯竭（即"数据墙"现象，Villalobos等人，2022），预训练正从追求更多令牌转向追求更高质量的令牌。然而，现有方法要么依赖忽略训练动态的启发式静态过滤器，要么使用基于原始梯度的动态但与优化器无关的标准。本文提出OPUS（优化器诱导的投影效用选择），这是一种动态数据选择框架，在优化器诱导的更新空间中定义效用。OPUS通过将现代优化器塑造的有效更新投影到来自稳定、分布内代理的目标方向，对候选样本进行评分。

大语言模型（LLMs）的下游性能高度依赖训练后数据的多样性。现有构建训练后数据的方法多采用文本层面的指标量化多样性，这类指标仅能捕捉语言表层变异，却难以反映决定下游性能的任务相关特征。本文提出特征激活覆盖率（FAC），在可解释的特征空间中量化数据多样性。基于该指标，进一步提出多样性驱动的数据合成框架：首先通过稀疏自编码器（SAE）识别种子数据集中的缺失特征，再生成明确体现这些特征的合成样本。实验表明，该方法在指令跟随、毒性检测、奖励建模和行为引导等多个任务上，持续提升数据多样性和下游性能。

该研究针对现有大语言模型（LLMs）推理能力评估基准的缺陷，提出了PHYBench——一个包含500道原创物理题的评估基准，涵盖高中到物理竞赛难度，涉及力学、电磁学等多个物理领域。同时引入EED Score（表达式编辑距离分数）作为细粒度评估指标，解决传统二元评分的局限性。实验显示，即使最优模型Gemini 2.5 Pro的准确率仅36.9%，远低于人类专家的61.9%；PHYBench能更有效区分模型推理能力，且EED Score将样本效率提升204%。

研究背景：现有大语言模型（LLM）的对齐阶段防御方法（如Vaccine、RepNoise等），虽能提升模型对抗有害微调的鲁棒性，但忽略了原始安全对齐数据的质量和构成这一上游关键因素，导致防御性能和计算效率受限于数据集。核心方法：提出Pharmacist——一种安全对齐数据筛选方案，通过训练对齐数据选择器对数据排序，优先保留高质量、安全关键的数据，剔除低质量、非安全关键的数据，从数据层面优化对齐效果。实验验证。

大语言模型（LLM）的对齐通常通过学习人类偏好比较实现，因此偏好数据的质量对对齐成功至关重要。现有研究常通过外部奖励模型或现成LLM预处理原始训练数据集，以筛选有价值的偏好对，虽能提升整体性能，但很少验证单个筛选数据点是否真正有益。本文通过新提出的截断影响函数（TIF），基于数据对验证数据的个体影响评估数据质量——该函数缓解了传统指标的过评分问题，并揭示偏好数据质量本质上是模型的属性（即对一个模型有益的数据可能对另一个模型造成损害）。这意味着需要改进偏好数据选择方法，使其适应特定模型。

研究背景与问题数据污染会导致LLM性能评估失真，但现有检测方法仅覆盖预训练和监督微调（SFT）阶段，完全忽略了对LLM推理能力提升至关重要的RL后训练阶段。RL后训练以“奖励最大化”为目标，与预训练、SFT的“ likelihood最大化”不同，传统基于likelihood的检测信号（如低困惑度）失效，导致该阶段污染检测成为盲区。核心方法：Self-Critique核心原理：RL后训练会导致模型“策略坍缩”，即收敛到狭窄的推理路径，表现为输出熵分布稀疏。

本文针对大型语言模型（LLMs）在协作训练场景中（数据无法直接共享）的高质量数据选择问题，提出了一种名为CLUES的方法。核心思路是基于训练动态（training dynamics）的影响来筛选高质量数据，即高质量数据与锚定数据集（anchor dataset）的训练动态更相似。本地训练动态评分：客户端计算私有数据中每个样本的梯度与公共验证集梯度的内积累积迹，作为数据质量分数；全局锚定阈值筛选。

监督微调（SFT）在使大型语言模型（LLM）适应特定领域或任务方面起着至关重要的作用。然而，正如实证实验所证明的那样，在实际应用中，收集的数据不可避免地包含噪声，这对下游任务的模型性能提出了重大挑战。因此，迫切需要一个抗噪声的SFT框架来增强下游任务中的模型能力。为了应对这一挑战，我们引入了一个鲁棒的SFT框架（ROBUSFT），该框架对下游任务数据进行噪声检测和重新标记。对于噪声识别，我们的方法采用具有推理增强模型的多专家协作系统来实现卓越的噪声检测。

大型语言模型（LLM）在各个领域都表现出了显著的有效性，利用GPT生成合成数据的数据增强方法变得越来越普遍。然而，增强数据的质量和效用仍然值得怀疑，目前的方法缺乏评估数据特征的明确指标。为了应对这些挑战，我们提出了ResoFilter，这是一种整合模型、数据和任务以优化数据集的新方法。ResoFilter利用微调过程来获取数据参数特征以进行数据选择，通过模型权重表示数据特征来提高可解释性。