c_cpp_csharp的专栏

该研究针对自回归大语言模型（LLMs）在难解后验分布采样中的局限，提出一种基于生成流网络（GFlowNets）的微调方法，通过摊销贝叶斯推理实现对难解后验的高效采样。核心优势包括提升样本多样性、数据效率和分布外泛化能力，在句子续写、故事填充、主观性分类、算术推理等任务中验证了有效性。自回归大语言模型（LLMs）通过下一个token的条件分布从训练数据中压缩知识，这限制了只能通过从头到尾的自回归采样来高效查询这些知识。然而，许多重要任务（包括序列续写、文本填充和其他形式的约束生成）都涉及从未知后验分布中采样。

我们提出了首个适用于标准型博弈近似纳什均衡的损失函数，该函数支持无偏蒙特卡洛估计。这一构造使我们能够部署标准的非凸随机优化技术来近似纳什均衡，进而形成具有可证明保证的新型算法。我们通过实验补充了理论分析，结果表明随机梯度下降能够优于以往的最优方法。

本文针对现有Weisfeiler-Lehman（WL）层级评估图神经网络（GNN）表达能力的局限性（粗糙、定性、与实际需求脱节），提出了一种基于同态表达性（homomorphism expressivity）的定量分析框架。核心是通过GNN模型对图结构的同态计数能力，刻画其可编码的子结构集合，实现不同GNN架构的精准表达性对比。

我们提出黎曼流匹配（RFM），这是一种在流形上训练连续归一化流的简洁而强大的框架。现有流形生成建模方法要么需要昂贵的模拟，要么本质上无法扩展到高维，要么对极限量采用近似导致训练目标有偏。黎曼流匹配绕过了这些限制，相比现有方法具有多项优势：在简单几何上无需模拟、无需计算散度、且能以闭形式计算目标向量场。RFM的核心创新在于构建了一种相对简单的预度量用于定义目标向量场，该预度量涵盖了现有的欧几里得情形。为扩展到通用几何，我们利用谱分解实时高效计算预度量。

自监督学习解锁了将预训练规模扩展到数十亿张图像的潜力，因为无需进行标注。但我们是否在充分利用数据？我们能否更高效地利用数据？在本研究中，我们通过两项贡献尝试回答这一问题。首先，我们对第一人称视频展开研究，推出了“Walking Tours”数据集。这些视频分辨率高、时长可达数小时，以单次不间断拍摄的形式呈现，包含大量物体、动作以及自然的场景过渡。它们无需标注且未经筛选，因此适用于自监督学习，且与人类学习过程具有可比性。其次，我们提出一种新颖的自监督图像预训练方法，专为连续视频学习量身打造。

正则化方法迄今为止一直是持续学习的主流选择。近期理论研究表明，这些方法本质上均依赖于模型权重的Hessian矩阵近似。然而，由于训练过程中Hessian估计固定不变，它们在知识迁移与遗忘之间存在次优权衡。另一类看似并行的元持续学习（Meta-CL）算法，通过对齐先前任务与当前任务的梯度发挥作用。本文重新审视Meta-CL，并首次建立其与正则化方法的关联。具体而言，Meta-CL以在线方式隐式近似Hessian，兼具及时自适应的优势，但同时受限于记忆缓冲随机采样带来的高方差问题。

深度神经网络（DNNs）经图像去噪训练后，可通过基于得分的反向扩散算法生成高质量样本。这些令人印象深刻的能力似乎意味着其摆脱了维数灾难，但近期关于训练集记忆现象的报道引发了一个疑问：这些网络是否在学习数据的“真实”连续密度？本文表明，当训练图像数量足够大时，在数据集非重叠子集上训练的两个DNN会学习到几乎相同的得分函数，进而学习到相同的密度。在这种强泛化机制下，扩散生成的图像与训练集不同且视觉质量很高，这表明DNN的归纳偏置与数据密度高度契合。

在互联网数据上训练的生成模型彻底改变了文本、图像和视频内容的创作方式。或许生成模型的下一个里程碑是能够响应人类、机器人和其他交互式智能体的动作，模拟真实体验。真实世界模拟器的应用范围广泛，从游戏和电影中的可控内容生成，到纯在模拟环境中训练可直接部署于现实世界的具身智能体等。本文探索了通过生成建模学习通用真实世界交互模拟器（UniSim）的可能性。

在机器学习领域，建模序列中的长程依赖关系是一项长期目标，这催生出诸如状态空间模型等架构，它们在长序列任务上的性能显著优于Transformer。然而，这些令人印象深刻的实证增益大多是在基准测试（如Long Range Arena）中验证的——在这些基准中，模型采用随机初始化，通过输入序列预测目标标签进行训练。本文中，我们发现随机初始化会严重高估不同架构间的性能差异；

我们通过学习平滑能量函数、利用朗之万马尔可夫链蒙特卡洛（MCMC）从平滑数据流形采样、并通过单步去噪投影回真实数据流形，解决了离散生成模型的训练和采样难题。我们的离散步跳采样（dWJS）框架融合了基于能量模型的对比散度训练和基于分数模型的样本质量优势，同时通过仅需单一噪声水平的设计简化了训练和采样过程。我们在抗体蛋白质生成建模任务中评估了该方法的鲁棒性，并引入分布一致性分数作为蛋白质生成模型的基准指标。

问题发现：在监督学习（如DeiT-III）、文本监督学习（如OpenCLIP）和自监督学习（如DINOv2）训练的ViT模型中，存在一类特征图伪影——高范数异常令牌（outlier tokens）。这类令牌占总令牌数约2%，范数约为普通令牌的10倍，主要出现在图像低信息背景区域，在模型中层附近出现，仅在大尺寸模型经过足够长时间训练后产生。伪影特性。

本文针对传统联邦学习（FL）仅支持同构模型、无法满足异构模型协作需求的局限，提出了首个异构联邦学习库与基准测试平台HtFLlib。该框架旨在解决当前异构联邦学习（HtFL）研究中数据集不统一、模型异构场景多样、方法实现差异大导致的评估困难，以及在医疗、传感器信号等领域适用性未充分探索的问题。数据资源：涵盖图像、文本、传感器信号3种模态，包含标签偏斜、特征偏移、真实世界3类异构场景的12个数据集（如Cifar10/100、AG News、HAR等）；模型资源。

该研究聚焦虚假信息检测领域的数据与评估问题，核心是解决数据缺陷导致的解决方案难落地的痛点。研究整理了75个虚假信息相关数据集（CDL-MD），规模为同类研究之最，其中36个聚焦单句/双句声明、9个聚焦段落文本，涵盖1.2亿+观测值，统一了“真实/虚假/混合/未知”的标签体系。通过CDL-DQA工具评估数据质量，发现多数数据集存在虚假关键词关联、虚假时间关联、内容模糊不可验证等问题，超半数声明类数据无证据检索时无法评估真实性。

在自动化决策中，决策者的输出应能抵御输入的微小扰动，这一特性可称为输入输出鲁棒性。输入输出鲁棒性在文献中以多种形式存在，例如AI模型对对抗性或语义扰动的鲁棒性，以及对人类做出决策的AI模型的个体公平性。本文提出对已部署的黑盒AI模型进行输入输出鲁棒性的运行时监控，目标是设计一种监控器，该监控器能够观察模型的长序列执行过程，并在检测到历史中两个相似输入导致不同输出时发出警报。通过这种方式，监控将作为现有离线“鲁棒化”方法的补充，以提高AI决策者的可信度。

背景与问题：成熟科技公司（如Netflix）每年运行数千次A/B测试，依赖决策规则将实验结果转化为产品落地决策（如是否上线某功能）。但传统决策规则评估存在两大痛点：一是“赢家诅咒”导致朴素估计量严重偏误（选中的“优胜组”效果因噪声被高估）；二是数字实验中信号噪声比低，难以准确估算决策规则对长期核心指标的实际收益。核心框架。

深度神经网络常常学习并依赖虚假相关性，即非因果特征与目标之间的表面关联。例如，图像分类器可能基于沙漠背景识别骆驼。尽管这种模型在训练期间能达到较高的整体准确率，但在不存在此类相关性的更多样化场景中，其泛化性能会下降。该问题对分布外鲁棒性和可信度构成了重大挑战。现有方法通常通过使用外部群体标注或辅助确定性模型来学习无偏表示，以缓解这一问题。然而，此类信息的获取成本高昂，且确定性模型可能无法捕捉模型所学偏差的全部范围。

图挖掘在社会科学、金融和网络安全等领域已变得至关重要。许多大规模真实世界网络既表现出异质性（图中存在多种节点和边类型），又具有异嗜性（相连节点可能具有不同的标签和属性）。然而，现有基准测试主要集中于同质异嗜性图或异质同嗜性图，在理解模型在同时具备异质性和异嗜性的图上的性能表现方面存在显著缺口。为填补这一缺口，我们提出H²GB——一个大规模节点分类图基准测试，它整合了真实世界图的异嗜性和异质性双重复杂性。

本文提出了LiGNN——一个已部署的大规模图神经网络（GNN）框架，并分享了LinkedIn在大规模GNN开发与部署过程中的实践经验。我们提出了一系列提升GNN表示学习质量的算法优化，包括带长期损失函数的时序图架构、基于图致密化、ID嵌入和多跳邻居采样的高效冷启动解决方案。同时，我们详细阐述了如何通过自适应邻居采样、训练数据批次分组切片、专用共享内存队列及本地梯度优化等技术，构建并加速LinkedIn图数据的大规模训练（提速7倍）。本文总结了从A/B测试实验中获得的部署经验与启示。

作为一种新兴的可解释技术，广义加法模型（GAMs）采用神经网络为每个特征单独学习非线性函数，然后通过线性模型组合这些函数以进行最终预测。尽管GAMs能够在特征层面解释深度神经网络（DNNs），但它们需要大量模型参数且容易过拟合，导致训练和扩展困难。此外，在具有大量特征的真实世界数据集中，基于特征的解释对人类而言可解释性会下降。为解决这些问题，近期研究已转向基于概念的可解释方法。这些方法试图在进行预测之前将概念学习整合为中间步骤，通过人类可理解的概念来解释预测结果。

火星毅力号探测器代表了火星测量规模的代际变革，但这种分辨率的提升为探索性数据分析技术带来了新的挑战。探测器上的多种不同仪器各自测量科学家关注的特定属性，因此联合分析潜在现象如何影响多种仪器的测量结果，对于全面理解研究对象至关重要。然而，每种仪器都有其独特的分辨率，这使得重叠数据层之间的映射问题变得非 trivial。在本研究中，我们提出了Nested Fusion方法，该方法能够融合任意层级的不同分辨率数据集，并以尽可能高的分辨率生成潜变量分布，编码不同测量数据与不同尺度之间的复杂相互关系。

扩散模型在各类生成任务中取得了显著成功。一个核心挑战是理解其避免记忆训练数据并实现泛化的机制。本研究探究了训练动态在泛化到记忆化转变过程中的作用。通过大量实验和理论分析，我们识别出两个不同的时间尺度：早期时间τgen\tau_{gen}τgen​（模型开始生成高质量样本的时间）和后期时间τmem\tau_{mem}τmem​（超过该时间后记忆化出现）。关键发现是，τmem\tau_{mem}τmem​随训练集大小nnn线性增长，而τgen。

本文聚焦强化学习（RL）的扩展性问题，核心研究如何通过提升网络深度解锁自监督强化学习（self-supervised RL）的性能突破。传统RL模型多采用2-5层的浅层架构，而NLP、计算机视觉等领域的深度网络已证明规模扩展的有效性。作者通过整合三大关键组件（自监督RL算法、GPU加速框架、深度网络架构优化），实现了网络深度向1024层的扩展，并在无演示、无奖励的目标条件设置下开展实验。

该研究围绕大型语言模型（LLM）中的门控机制展开系统性探索，核心是在softmax注意力机制中引入门控变体，通过大规模实验验证其效果并揭示内在原理。研究背景：门控机制在神经网络（如LSTM、Transformer相关模型）中广泛应用，但现有研究未充分拆解门控本身的作用（常与其他架构因素混淆），且LLM存在“注意力 sink”“大规模激活”等问题，影响训练稳定性和长文本处理能力。核心实验设计模型规模：15B混合专家（MoE）模型和1.7B稠密模型，基于3.5万亿tokens数据集训练；

提出大语言模型（LMs）存在“人工蜂群思维（Artificial Hivemind）”效应：单一模型输出存在内部重复，不同模型间输出高度同质化，且在开放式任务中表现显著。构建INFINITY-CHAT数据集：包含2.6万条真实世界开放式用户查询，覆盖6大类17个子类查询类型，配套3.125万条人类标注（每条含25个独立标注）。实证分析：70余款开源/闭源模型在开放式任务中，跨模型输出相似度达71%-82%；现有LM、奖励模型及LM评判器难以匹配人类对多元优质响应的偏好。

该研究聚焦带可验证奖励的强化学习（RLVR）对大语言模型（LLMs）推理能力的影响，核心结论是：当前RLVR仅提升模型的采样效率，并未赋予其超越基础模型的全新推理能力。研究通过pass@k指标（大k值下评估模型潜在推理边界），在数学、代码生成、视觉推理三大任务中，对不同模型家族、RL算法进行系统性实验，发现RLVR模型在小k值时表现优于基础模型，但大k值下基础模型的推理覆盖度反超；RLVR生成的推理路径均已存在于基础模型的采样分布中，且训练会缩小模型的推理边界。

我们通过精确量化转导在线学习与标准在线学习的差距，解决了一个关于未标记数据在在线学习中价值的30年开放性问题。在标准设置中，最优错误界由概念类HHH的 Littlestone 维度ddd表征（Littlestone, 1987）。我们证明，在转导设置中，错误界至少为ΩdΩd​。这相较于此前分别由 Ben-David、Kushilevitz 和 Mansour（1995, 1997）以及 Hanneke、Moran 和 Shafer（2023）提出的ΩloglogdΩl。

本文核心探究表征叠加（representation superposition）对神经网络缩放律的影响，提出叠加是大语言模型（LLMs）损失随模型规模呈幂律衰减的关键驱动因素。通过修改Anthropic的玩具模型，用权重衰减控制叠加程度，系统研究不同叠加强度和数据分布下的损失缩放规律：弱叠加时，损失仅在数据特征频率呈幂律分布时才遵循幂律；强叠加时，因表征向量的几何重叠，损失普遍与模型维度成反比（缩放指数接近1）。

以往的语言模型预训练方法会对所有训练 tokens 统一应用下一个 token 预测损失。本文对这一常规提出挑战，提出“语料库中的并非所有 tokens 对语言模型训练都同等重要”的观点。我们通过初步分析语言模型的 token 级训练动态，发现了不同 tokens 具有显著不同的损失模式。基于这些发现，我们推出了一款名为 RHO-1 的新型语言模型。与传统语言模型学习预测语料库中每个下一个 token 不同，RHO-1 采用选择性语言建模（SLM），仅针对与目标分布对齐的有用 tokens 进行训练。

图像生成扩散模型的核心关注维度包括图像质量、结果多样性，以及结果与给定条件（如类别标签或文本提示）的对齐程度。主流的无分类器引导方法利用无条件模型引导条件模型，虽能同时提升提示对齐度和图像质量，但代价是降低了多样性。这些效果本质上相互纠缠，难以控制。我们得出了一个令人意外的发现：通过使用模型自身的一个更小、训练不足的版本（而非无条件模型）来引导生成过程，能够在不损害多样性的前提下，对图像质量实现解耦控制。

我们提出了视觉自回归建模（VAR）这一新型生成范式，它将图像上的自回归学习重新定义为从粗到细的“逐尺度预测”或“逐分辨率预测”，区别于标准的光栅扫描式“逐token预测”。这种简单直观的方法使自回归（AR）Transformer能够快速学习视觉分布并具备良好的泛化能力：VAR首次实现了GPT式AR模型在图像生成任务中超越扩散Transformer。

优化损失函数中包含高维高阶微分算子的神经网络时，反向传播的计算成本极高——导数张量规模呈OdkO(d^k)Odk缩放，计算图规模呈O2k−1LO2k−1L缩放（其中d为域维度、L为前向计算图操作数、k为导数阶数）。现有研究通过随机化在优化过程中分摊计算，解决了d的多项式缩放问题；针对单变量函数（d=1），高阶自动微分（AD）则解决了k的指数缩放问题。

本文聚焦多智能体系统中的两大核心任务——（如办公空间分配，n个智能体匹配n个备选方案）与（如诊所选址投票，从m个候选人中选1个），核心挑战是：仅通过智能体的序数偏好排序（无偏好强度信息）会导致社会福利损失（即“失真度”），而过多的基数效用查询（获取精确偏好强度）会给智能体带来认知负担。因此，研究需解决“如何通过固定数量的基数查询，实现渐近最优的失真度”这一关键问题。

神经符号（NeSy）人工智能可类比为人类的双过程认知，通过神经网络建模直觉性的系统1，通过符号推理建模算法化的系统2。然而，针对复杂的学习目标，神经符号系统往往会产生与领域知识不一致的输出，且难以对这些输出进行修正。受人类认知反思机制的启发——该机制能快速检测直觉反应中的错误，并通过调用系统2的推理来修正这些错误——我们提出在溯因学习（ABL）框架的基础上引入溯因反思（ABL-Refl），以改进神经符号系统。

部分可观察马尔可夫决策过程（POMDPs）是序贯决策中不确定性建模的重要模型。本文旨在构造具有理论保证的算法，以判定智能体是否存在一种策略，能够以概率1满足给定规范。这一广受研究的问题已知对于非常简单的ω-正则目标而言是不可判定的，其根源在于对不确定事件的推理难度。我们引入一种揭示机制，通过要求智能体几乎必然最终获得当前状态的完整信息来限制信息损失。本文的核心技术成果是为两类名为弱揭示型和强揭示型的POMDPs构造了精确算法。

大规模、由志愿者收集且经社区识别的自然世界图像数据集（如iNaturalist），已显著提升了机器学习方法在物种细粒度视觉分类任务中的性能。然而，这类有时被称为公民科学的数据具有机会主义属性，缺乏结构化的采样策略。这些志愿者收集的生物多样性数据存在地理、时间、分类学、观察者和社会政治等偏差，可能对生物多样性模型性能产生重大影响，但它们对细粒度物种识别性能的具体影响尚不明确。本文提出了Diversity Shift（DivShift）框架，用于量化特定领域分布偏移对机器学习模型性能的作用。