c_cpp_csharp的专栏

随着教育系统的发展，确保评估项目与内容标准保持对齐，对于维护公平性和教学相关性至关重要。传统人工对齐审核虽准确，但速度慢且劳动强度大，尤其在大规模题库场景中难以规模化。本研究探讨大型语言模型（LLMs）能否在不牺牲准确性的前提下加速这一过程。利用K-5年级的12,000余条项目-技能对，我们在三项模拟真实挑战的任务中测试了三款LLM（GPT-3.5 Turbo、GPT-4o-mini和GPT-4o）：识别错位项目、从全量标准中选择正确技能、分类前缩小候选列表范围。

指代多目标跟踪（RMOT）通过引入自然语言参考实现多模态融合跟踪，拓展了传统多目标跟踪（MOT）的应用场景。现有RMOT基准数据集仅描述物体的外观、相对位置和初始运动状态，这种所谓的“静态规则”无法捕捉物体运动的动态变化（包括速度变化和运动方向转换）。该局限性不仅导致静态参考与动态视觉模态之间存在时间差异，还制约了多模态跟踪性能。为解决这一问题，本文提出一种新颖的视觉-运动-参考对齐RMOT框架（VMRMOT）。

大型语言模型（LLMs）与人类价值观的对齐通常需要平衡多个相互冲突的目标（如有用性和无害性）。这些模型的训练计算成本高昂，且中心化训练过程引发严重的数据隐私问题。联邦学习（FL）提供了一种极具吸引力的替代方案，但现有的联邦多目标优化（FMOO）方法面临严重的通信瓶颈——由于依赖向服务器传输多个梯度，这种方式对于大型模型而言难以扩展。本文提出FIRM（联邦客户端内正则化多目标对齐算法），这是一种同时实现客户端分歧漂移抑制和通信效率提升的新型算法。在FIRM中，每个客户端本地求解正则化多目标优化问题。

大型语言模型的安全性通常通过静态基准进行评估，但关键失效模式具有动态性：分布偏移下的价值漂移、越狱攻击，以及部署过程中对齐性的缓慢退化。基于近期提出的“智能第二定律”（该定律将伦理熵视为一种状态变量，除非通过对齐工作加以抵消，否则会自发增加），我们将这一框架应用于大型语言模型的实际操作中。我们定义了五分类行为分类体系，训练了一个分类器以从模型对话文本中估算伦理熵StS(t)St，并在压力测试中测量了四个前沿模型的基础版本与指令微调版本的熵动态变化。

尽管大型语言模型（LLMs）越来越多地通过人类反馈进行训练，以实现安全性并与人类价值观对齐，但对齐决策往往忽视了人类的社会多样性。本研究通过系统评估对齐流程中的人口统计学差异和设计参数，探讨了整合多元价值观对LLM行为的影响。

人类对物理世界和社会世界的常识性理解是围绕直觉理论构建的。这些理论支撑着人们做出因果判断和道德判断。当不好的事情发生时，我们会自然地追问：谁做了什么，以及为什么这么做？认知科学领域的大量文献已经研究了人类的因果直觉和道德直觉。这项研究揭示了许多会系统性影响人类判断的因素，例如规范的违反，以及伤害是可避免的还是不可避免的。我们从24篇认知科学论文中收集了场景故事数据集，并开发了一个系统，为每个故事标注其所研究的影响因素。

该研究针对大语言模型（LLM）对齐中依赖海量人工标注数据、易受标注噪声影响的问题，提出了Stackelberg博弈偏好优化（SGPO）框架及其实例化算法SSAPO。核心是将对齐建模为政策（领导者）与最坏情况偏好分布（追随者）的双人Stackelberg博弈，在ϵ-Wasserstein球内保证O(ϵ)有界遗憾，实现对标注噪声的鲁棒性。

本文研究了基于人类反馈的强化学习（RLHF），旨在使大语言模型与人类偏好对齐。尽管RLHF已展现出良好前景，但许多算法对潜在偏好模型（如布拉德利-特里模型）、参考策略或奖励函数的误设高度敏感，导致微调效果不佳。为解决模型误设问题，我们提出一种双稳健偏好优化算法，该算法在偏好模型或参考策略任一正确设定时（无需两者同时正确）仍能保持一致性。理论和实证结果表明，我们的方法相较于最先进算法，性能更优且稳健性更强。代码已开源至。

研究背景：LLM对齐评估需衡量模型是否有用、诚实、安全且遵循人类指令，传统方法依赖人类标注或LLM作为评判者，但存在成本高、耗时久等问题。同时，LLM的生成能力（生成符合人类偏好的响应）与评估能力（判断响应是否符合人类偏好）的关联尚未被全面探究。核心概念定义：提出“生成-评估一致性（GE-consistency）”，即通过偏好预言机（如强LLM）评估多个LLM的生成能力排名与评估能力排名之间的相关性（采用斯皮尔曼相关系数衡量）。实验验证。

该研究针对大型视频语言模型（LVLMs）在细粒度时间理解、幻觉生成、长短视频理解等任务中的不足，提出了一套自对齐框架与优化方法。核心思路是让LVLMs从自身错误中学习：通过对视频进行时空扰动生成错误响应，构建“偏好-非偏好”响应对训练集，再利用改进的偏好优化方法RRPO（Refined Regularized Preference Optimization）实现模型对齐。

我们研究了约束对齐问题中最优大语言模型（LLM）策略的求解，目标是在满足次要效用约束的同时最大化主奖励目标。尽管基于拉格朗日的LLM策略搜索在约束对齐中被广泛应用，但迭代原始-对偶方法往往难以收敛，而非迭代对偶方法在LLM参数空间中无法达到最优。为解决这些挑战，我们利用拉格朗日对偶性开发了一种迭代对偶基对齐方法，通过交替进行拉格朗日最大化（更新LLM策略）和对偶下降（更新对偶变量）实现优化。

当语言模型（LM）无法达到预期性能时，重对齐（Realignment）变得十分必要。本文提出一种灵活的重对齐框架，支持在训练和推理阶段对对齐程度进行定量控制。该框架包含训练时重对齐（TrRa），通过可控融合参考模型与已对齐模型的logits，高效实现参考模型的重对齐。例如，TrRa在DeepSeek-R1-Distill-Qwen-1.5B模型上减少了54.63%的Token使用量，且无任何性能损失，优于DeepScaleR-1.5B的33.86%。

大型语言模型（LLM）在各类自然语言处理应用中取得了显著的性能提升，但在医疗领域仍难以满足准确性和可靠性的严格要求，在临床应用中面临诸多挑战。现有用于评估基于LLM的医疗代理的临床诊断评估基准存在严重局限：其一，多数医疗评估基准存在数据泄露或污染风险；其二，忽视了现代医疗多科室、高专业化的特点；其三，评估方式局限于选择题，与真实诊疗场景不符且缺乏稳健性；其四，缺乏对端到端真实临床场景的全面评估。这些基准缺陷阻碍了医疗领域LLM及代理的发展。

基于人类反馈（HF）等强化学习（RL）方法微调语言模型是对齐的主流技术，但针对奖励模型的优化可能在提升奖励的同时导致其他领域性能下降——这种现象被称为奖励黑客、对齐税或语言漂移。首先，我们认为常用的测试指标存在不足，进而提出应衡量不同算法在奖励与漂移之间的权衡关系。传统方法通过在线模型与初始模型之间的KL散度惩罚修改奖励函数，而我们提出一种新算法Elastic Reset，无需显式修改训练目标即可实现更高奖励与更少漂移。

LLM对齐的隐私痛点：大语言模型（LLM）的对齐（如RLHF、DPO）依赖人类反馈的偏好标签，但这些标签会泄露标注者的价值观、身份或专业判断（如医疗场景中医生的诊疗偏好、政策分析中决策者的敏感见解），存在严重隐私风险。现有方案的缺陷：主流隐私保护方法（如DP-SGD、Randomized Response（RR））存在不足。DP-SGD会对整个训练元组（prompt、response、标签）进行梯度扰动，过度保护导致模型效用下降；

当前大语言模型（LLMs）面临“基于功能的安全风险”挑战——模型输出可能因忽视逻辑隐含意义，无意中为有害行为提供便利。传统安全方案（如基于标量结果的奖励模型、参数调优、启发式解码策略）缺乏细粒度和主动性，无法在细微却关键的推理步骤中可靠检测并干预风险。在医疗、金融等高危应用场景中，忽视此类风险或破坏推理连贯性可能导致错误信息传播、混乱甚至实际伤害。当前的大语言模型（LLMs）面临着管理“基于功能的安全风险”的挑战——在这类场景中，模型输出可能因忽视逻辑隐含意义，无意中为有害行为提供便利。

本文聚焦于行为金融领域中大型语言模型（LLMs）与羊群行为下投资者决策过程的对齐问题，核心挑战是监督微调（SFT）所需真实用户数据的稀缺性。为此，作者提出了InvestAlign框架，通过利用相似简单最优投资问题的理论解构建高质量SFT数据集，而非依赖复杂场景的真实数据。理论分析表明，使用InvestAlign生成的数据集训练LLMs，其参数收敛速度快于真实用户数据，学习效率更高。基于该框架微调得到的InvestAgent，在简单和复杂投资问题中均比预微调模型更接近真实用户决策，验证了InvestAlign

本文研究了偏好优化中的数据多样化策略对提升大语言模型（LLMs）数学推理能力的作用。作者评估了三种常见的数据生成方法（温度采样、思维链提示、蒙特卡洛树搜索（MCTS）），并提出了一种新的结构化方法——Diversified-ThinkSolve（DTS），该方法通过系统地将问题分解为多样化的推理路径生成数据。实验结果显示，通过策略性多样化的偏好数据，模型的数学推理性能显著提升：最佳方法在GSM8K基准上比基础模型提升7.1%，在MATH基准上提升4.2%。

核心背景：大型语言模型（LLMs）降低了软件开发门槛，但也带来了恶意软件生成的安全风险。现有LLM对齐机制（如意图防护、政策过滤）主要针对单个提示进行检查，却忽视了“组合盲点”——恶意操作可分解为看似良性的子任务，单独绕过过滤。MGC框架设计：提出恶意软件生成编译器（MGC），通过模块化分解和规避对齐的生成策略利用上述漏洞。前端：使用弱对齐LLM将高层恶意意图分解为恶意软件描述中间表示（MDIR），MDIR作为结构化抽象层，保留组件间逻辑关系同时确保单个组件看似无害。

研究背景与问题大语言模型（LLMs）在长上下文建模中受限于Transformer的固定上下文窗口，尤其是“长度泛化”问题——模型在训练短序列后难以泛化至更长测试序列。现有方法多关注位置编码（PE）设计或模型机制分析，却忽视了模型输出空间的关键作用。核心发现与方法长-短对齐（Long-Short Alignment）：通过合成任务（如二进制序列均值预测与长度预测）发现，输出分布的一致性（即不同长度序列的输出分布对齐程度）是影响长度泛化的关键因素。例如，均值预测任务中输出范围固定，泛化性强；

研究背景与挑战LLMs在时间序列中的应用潜力：LLMs在时间序列推理任务（如预测、异常检测、因果推理等）中展现出零样本学习能力，但存在符号自然语言与时间序列数据的模态差距，导致传统任务定制模型效率低、灵活性差。现有方法的局限性：现有方法过度关注特定任务模型定制，忽略了时间序列的基本元素（Time-Series Primitives），如领域（Domain）、特征（Characteristic）和表示（Representation），导致模型成本高、适应性弱。核心观点与方法对齐范式优先。

本文提出了对抗偏好学习（APL）框架，旨在提升大型语言模型（LLMs）对抗对抗性攻击的鲁棒性。传统基于人类反馈的强化学习（RLHF）方法存在人工标注成本高、对抗攻击场景覆盖不足以及奖励偏差等问题。基于内在偏好概率的直接危害度量：无需外部评估系统，通过模型生成有害/安全响应的概率直接评估漏洞。条件生成攻击者：自动生成多样化的对抗性提示，覆盖更广的输入空间。迭代闭环反馈框架：攻击者与防御者通过迭代交互持续发现和修复漏洞。

本文聚焦于大语言模型（LLMs）与人类偏好对齐的难题，提出了潜在偏好编码框架（Latent Preference Coding, LPC）。传统方法依赖单一奖励函数，难以捕捉人类偏好的多维度和冲突性（如“帮助性”与“安全性”的权衡）。LPC通过离散潜在代码建模偏好背后的隐含因素及其组合，无需预定义奖励函数和人工权重，可自动从数据中推断因素及其重要性。

本文系统探讨了大型语言模型（LLMs）在实际应用中的个性化对齐问题。当前LLMs通过监督微调（SFT）和人类反馈强化学习（RLHF）实现了与通用人类价值观（如帮助性、诚实性、无害性）的对齐，但在适应个体用户偏好方面存在显著不足。偏好记忆管理管理用户显式（如直接反馈）和隐式（如行为数据、用户生成内容）的偏好信息。通过偏好推理将隐式信号转化为结构化的偏好空间。个性化生成与奖励通过提示注入、编码嵌入、参数微调或代理工作流等方式，将用户偏好融入生成过程。结合通用价值观约束与个性化奖励模型，优化生成质量。

本文探索了使大语言模型（LLMs）更具类人特质的进展。我们专注于在人工智能系统中增强自然语言理解、对话连贯性和情商的技术。该研究评估了多种方法，包括使用多样化的数据集进行微调、融入心理学原理，以及设计能更好模拟人类推理模式的模型。我们的研究结果表明，这些改进不仅改善了用户交互，还为不同领域的人工智能应用开辟了新的可能性。未来的工作将探讨这些类人属性带来的伦理影响和潜在偏见。本研究提出了多项有助于推动大语言模型（LLMs）实现更自然、类人交互发展的贡献。

大语言模型（LLMs）的最新发展使其在各种任务中得到广泛应用。大语言模型在社会中的普及促使人们对其性能的可靠性提出了更高要求。特别是在风险敏感的应用场景中，需要特别关注那些意外的不良结果，即尾部事件，例如有害的回答、侮辱性语言和冒犯性输出。由于获取人工标注的成本较高，通用评分模型应运而生，以实现对这些尾部事件量化过程的自动化。这一现象导致了人机评分机制之间可能存在的不一致性。在这项工作中，我们提出了一种针对黑盒模型的轻量级校准框架，该框架可确保人机之间的一致性，并提供可证明的保证。

近期，大语言模型（LLM）校准领域取得了进展，旨在通过利用预训练模型生成偏好数据，从而降低人工标注的成本。然而，现有方法常常对能力差异巨大的模型的回复进行比较，只能得出表面上的区别，无法为判断何种回复更优提供有意义的指导。为解决这一局限，我们提出了基于亲属关系的偏好映射（Kinship-Aware pReference MApping，KARMA）框架，这是一种全新的框架，能够系统地将能力相当的模型的回复进行配对。

直接对齐算法（DAAs）通过用直接策略优化取代人类反馈强化学习（RLHF）中的强化学习（RL）和奖励建模（RM）来简化语言模型对齐。DAA可以根据其排名损失（成对与逐点）、这些损失中使用的奖励（例如，政策和参考政策的似然比或比值比）或是否需要监督微调（SFT）阶段（两阶段与一阶段）进行分类。我们首先证明了单阶段方法不如两阶段方法。为了解决这个问题，我们引入了一个显式的SFT阶段，并在单级ORPO和ASFT中引入了控制偏好优化强度的β参数。

人工智能对齐技术的最新进展显著改善了大型语言模型（LLM）与静态人类偏好的对齐。然而，人类偏好的动态性可能会使一些先前的训练数据过时甚至错误，最终导致LLM偏离当代人类偏好和社会规范。现有的方法，无论是管理新数据以进行持续对齐，还是手动纠正过时数据以进行重新对齐，都需要昂贵的人力资源。为了解决这个问题，我们提出了一种新的方法，LLM BehAvior Correction with INfluence FunCtion REcall and Post Training（LANCET），它不需要人为干预。

尽管表现出了令人印象深刻的能力，但大型语言模型（LLM）仍然经常难以准确表达它们所拥有的事实知识，特别是在LLM的知识边界模糊的情况下。为了改进LLM的事实表达，我们提出了UALIGN框架，该框架利用不确定性估计来表示知识边界，然后明确地将这些表示作为输入特征纳入提示，使LLM与事实知识保持一致。首先，我们通过计算两个不确定性估计（包括置信度得分和语义熵）来准备知识问答（QA）样本的数据集，以表示LLM的知识边界。

由于大型语言模型和多模态语言模型的快速发展，我们目睹了超人的智能。随着这种超人模型的应用越来越流行，这里出现了一个关键问题：我们如何确保超人模型仍然安全、可靠，并且与人类价值观保持一致？在这篇立场论文中，我们从学习的角度讨论了超对齐的概念，通过概述从大规模预训练、监督微调到对齐训练的学习范式转变来回答这个问题。我们将超对齐定义为当任务变得非常复杂，需要人类专家进行注释，并且模型比人类专家更强时，设计有效和高效的对齐算法，以可扩展的方式从有噪声的标记数据（逐点样本或成对偏好数据）中学习。

我们提出了MusicRL，这是第一个根据人类反馈进行微调的音乐生成系统。对文本到音乐模型的欣赏是特别主观的，因为音乐性的概念以及字幕背后的具体意图取决于用户（例如，“欢快的锻炼音乐”等字幕可以映射到复古吉他独奏或技术流行节拍）。这不仅使此类模型的监督训练具有挑战性，而且还要求将持续的人类反馈集成到部署后的微调中。MusicRL是一个预训练的自回归MusicLM模型，该模型通过强化学习进行微调，以最大化序列级奖励。

大型语言模型 （LLM） 通常无法完成信息提取 （IE） 任务，并且难以遵循 IE 任务的复杂指令。这主要是由于 LLM 未与人类对齐，因为主流对齐数据集通常不包含 IE 数据。在本文中，我们介绍了 ADELIE（在信息提取上对齐大型语言 moDEL），这是一种对齐的 LLM，可有效解决各种 IE 任务，包括封闭 IE、开放 IE 和按需 IE。我们首先收集并构建一个高质量的对齐语料 IEInstruct for IE。然后，我们使用 IEInstruct 上的指令调优来训练 ADELIESFT。

多模态大语言模型（MLLMs）被广泛认为是通用人工智能（AGI）研究的关键。MLLM的核心在于其实现跨模态对齐的能力。为了实现这一目标，当前的MLLM通常遵循两个阶段的训练范式：预训练阶段和指令调优阶段。尽管取得了成功，但这些模型中对齐能力的建模仍存在不足。首先，在预训练阶段，模型通常假设所有图像文本对都是一致对齐的，但事实上不同图像文本对之间的对齐程度是不一致的。其次，目前用于微调的指令包含各种任务，不同任务的指令通常需要不同级别的对齐能力，但之前的MLLM忽略了这些差异化的对齐需求。

在日常沟通中，人们经常接近真相——例如，四舍五入或省略细节——以最大限度地帮助听众。大型语言模型（LLM）是如何处理这种微妙的权衡的？为了解决这个问题，我们使用旨在表征人类行为的心理模型和实验来分析LLM。我们测试了一系列LLM，并探讨了人类偏好或推理时间推理的优化如何影响这些权衡。我们发现，从人类反馈中强化学习可以提高诚实和乐于助人的能力，而思维提示链使LLM倾向于帮助而非诚实。最后，GPT-4 Turbo演示了类人响应模式，包括对会话框架和听众决策上下文的敏感性。

ChatGLM是一个免费使用的人工智能服务，由ChatGLM系列大型语言模型（LLM）提供支持。在本文中，我们提出了ChatGLM RLHF管道——一种从人类反馈中强化学习（RLHF）的系统——旨在增强ChatGLM与人类偏好的一致性。ChatGLM RLHF包括三个主要组成部分：收集人类偏好数据、训练奖励模型和优化政策。在将ChatGLM RLHF集成到生产中的整个过程中，我们遇到并解决了几个前所未有的挑战。

这项工作确定了确保大型语言模型（LLM）的一致性和安全性的18个基本挑战。这些挑战分为三类：对LLM的科学理解、开发和部署方法以及社会技术挑战。基于已识别的挑战，我们提出了200多个具体的研究问题。

本文通过“GreedLama”的案例研究，研究了将大型语言模型（LLM）与财务优化相结合的伦理意义，该模型经过微调，以优先考虑经济效益结果。通过将GreedLama在道德推理任务中的表现与基础Llama2模型进行比较，我们的结果突显了一个令人担忧的趋势：GreedLama表现出对利润的明显偏好，而不是道德考虑，在低和高道德模糊的情况下，以比基础模型低得多的速度做出道德上适当的决策。

对齐大型语言模型（LLM）的一种常见技术依赖于通过比较以固定上下文为条件的多生成来获取人类偏好。这仅在将生成置于相同的上下文中时利用成对比较。然而，这种有条件的排名往往无法捕捉到人类偏好的复杂和多维方面。在这项工作中，我们重新审视了偏好获取的传统范式，并提出了一个新的轴，该轴基于在指令-反应对上共同激发偏好。虽然先前的偏好优化是为条件排名协议（如DPO）设计的，但我们提出的偏好获取协议引入了DOVE，这是一种新的偏好优化目标，它使所选指令响应对的联合概率高于被拒绝的指令响应对。

通过偏好优化使大型语言模型（LLM）与人类偏好保持一致是至关重要的，但也是劳动密集型的，需要评估人员对每个提示进行选择和拒绝的文本完成情况的比较。最近，Kahneman Tversky Optimization（KTO）已经证明，LLM可以在每个提示完成对上仅使用二进制“竖起大拇指”或“向下大拇指”信号进行对齐。在本文中，我们提出了理论基础来解释通过这些二进制信号实现的成功对准。我们的分析揭示了一个新的视角：优化一个二元分类器，其logit是一个奖励，隐式地诱导最小化直接偏好优化（DPO）损失。