c_cpp_csharp的专栏

本文聚焦于有限人类标注数据场景下，如何高效利用大语言模型（LLMs）进行推断的核心问题。传统LLM虽可作为人类受访者的替代者，降低调研成本，但存在输出偏差、对提示词敏感等缺陷；现有改进方法（微调FT、事后校正PPI）单独使用时，受限于标注数据稀缺性且存在边际效益递减问题。优化微调目标：摒弃传统最小化均方误差（MSE）的思路，提出以“最小化预测误差方差”为微调目标，适配下游PPI校正的需求（PPI对误差方差更敏感，而非偏差）；样本最优分配。

大语言模型（LLM）在生产环境中的部署需要高效的推理服务系统，以平衡吞吐量、延迟和资源利用率。本文对两款主流开源LLM推理框架——vLLM和HuggingFace文本生成推理（TGI）进行了全面的实证评估。我们使用参数规模从70亿到700亿的LLaMA-2模型，在吞吐量性能、端到端延迟、GPU内存利用率和可扩展性等多个维度对这些系统进行基准测试。实验结果表明，通过其创新的PagedAttention机制，vLLM在高并发工作负载下的吞吐量比TGI高出24倍；而TGI在交互式单用户场景中表现出更低的尾部延迟。

测试时缩放是提升大语言模型推理性能的一种有效方法，但在长序列解码过程中，随着 KV 缓存不断增长，内存会成为瓶颈。KV 缓存量化有助于缓解这一问题，但现有方法通常在预填充式设置下进行评估，而误差在自回归解码中的表现有所不同。我们发现，在后一种情况下，量化误差会随时间步累积，主要源于不正确的 token 尺度。为此，我们提出 KVarN——一种免校准的 KV 缓存量化器，它先对 K 和 V 矩阵进行 Hadamard 旋转，再沿两个轴施加双尺度方差归一化。

大语言模型（LLMs）在思维链（CoT）推理方面展现出卓越能力。然而，当前的 LLM 推理范式仅在获取完整输入后才启动推理，这会引入不必要的延迟，并在动态场景中削弱对早期信息的注意力。受人类“边读边想”认知模式的启发，我们首次为 LLMs 设计了流式推理范式——推理过程按输入顺序展开，且在阅读完成后可进一步调整推理深度。我们通过 StreamingThinker 框架实例化该范式，该框架整合流式 CoT 生成、流式约束训练和流式并行推理，让 LLMs 能够边读边想。

尽管语言模型（LMs）在代码生成能力上取得了显著进步，但它们在生成平衡括号等简单句法任务中仍存在困难。本研究调查了不同规模（124M-7B参数）语言模型中这些错误持续存在的潜在机制，旨在理解并缓解此类错误。研究发现，语言模型依赖多个组件（注意力头和前馈神经网络神经元）独立进行预测：部分组件能在广泛的输入范围内可靠地预测正确结果（即实现“合理机制”），而其他组件可靠性较低，会通过推广错误标记引入噪声（即实现“缺陷机制”）。当缺陷机制盖过合理机制并主导预测时，错误就会发生。

大语言模型（LLMs）处理长文本时需要大量GPU内存，其中键值（KV）缓存在推理过程中占用的内存高达总内存的70%。尽管现有压缩方法通过评估单个令牌的重要性来减少内存占用，但它们忽略了令牌之间关键的语义关系，导致上下文碎片化和性能下降。我们提出了ChunkKV，它从根本上重新构想了KV缓存压缩方式——将语义块而非孤立令牌作为基本压缩单位。这种方法保留了完整的语言结构和上下文完整性，即使在高压缩比下也能确保核心语义不丢失。

这篇被 ICLR 2026 接收的论文提出了一种名为TurboQuant的全新在线向量量化（Vector Quantization, VQ）算法。该研究的核心目标是解决大语言模型（LLM）在长上下文推理时面临的 KV Cache 显存消耗瓶颈，以及大规模向量数据库在近似最近邻检索中的存储与延迟问题。有别于现有技术，TurboQuant 是一种无需任何校准数据、无需训练的在线算法（Data-oblivious）。

随着输入文本长度的增加，大语言模型（LLMs）中的键值（KV）缓存会带来极高的GPU内存开销，限制了资源受限设备上的长上下文推理。现有方法（如KV量化和剪枝）虽能降低内存占用，但存在数值精度损失或键值对保留效果不佳的问题。本文提出低秩查询和键注意力（LRQK），这是一种两阶段框架：在预填充阶段，将全精度查询和键矩阵联合分解为紧凑的秩-r因子；在每个解码步骤，利用这些低维投影以O(lr)时间计算代理注意力分数。

本文聚焦大语言模型（LLM）推理中的KV缓存淘汰优化，针对现有方法依赖注意力权重、忽略向量空间中令牌价值状态空间关系的缺陷，提出锚点方向投影（AnDPro）方法。通过将KV缓存淘汰建模为组合优化问题并松弛为稀疏优化问题，AnDPro以预淘汰输出方向为“锚点方向”，利用令牌价值向量在该方向上的投影衡量令牌重要性，实现更精准的缓存保留决策。

摘要：新兴的推理型大语言模型（如OpenAI-o1和DeepSeek-R1）通过生成冗长的思维链（CoT）轨迹，在复杂推理任务上取得了优异性能。然而，这些冗长的思维链导致token使用量增加，进而提升了推理延迟和内存消耗。因此，在实际应用中部署推理型大语言模型时，平衡准确性与推理效率至关重要。现有长文本转短文本（Long2Short）方法旨在缩短推理长度，但往往以牺牲准确性为代价，这表明需要一种在降低token成本的同时保持性能的方法。

大型视觉语言模型（LVLMs）在多模态任务中表现出色，但容易误解视觉输入，经常导致幻觉生成和不可靠的输出。本文提出了DROPOUT DECODING，一种新颖的推理时方法，该方法量化视觉token的不确定性并选择性屏蔽高不确定性token以改进解码过程。我们的方法通过将每个视觉token投影到文本空间，并将其不确定性分解为随机不确定性（aleatoric）和认知不确定性（epistemic）两个部分，从而实现对视觉token不确定性的量化。

大语言模型（LLMs）庞大的模型规模对内存受限的消费级GPU部署构成挑战。尽管模型压缩和参数卸载是解决内存限制的常用策略，但压缩会降低模型质量，而卸载虽能保持质量却存在推理速度缓慢的问题。推测解码为加速参数卸载提供了一种可行途径：利用快速的草稿模型生成多个候选token，再由目标LLM通过单次前向传播并行验证这些token。该方法减少了涉及卸载权重传输的耗时数据交互。现有方法通常依赖同家族的预训练权重，但需要额外训练才能与自定义训练模型对齐；

对大型语言模型（LLM）服务的需求日益增长，给服务提供商带来了巨大的部署和计算成本。LLM路由通过根据模型和查询特征将查询导向最优LLM，提供了一种经济高效的解决方案。然而，现有研究主要聚焦于离线场景，难以适配高查询量和令牌预算受限的在线环境。本文提出首个适用于在线路由场景的无训练算法：利用近似最近邻搜索高效估计查询特征，并通过对少量初始查询进行一次性优化，学习指导后续路由的策略。我们提供的理论保证表明，在合理假设下，该算法的竞争比达到1-o(1)。

该研究针对大语言模型（LLMs）推理阶段的性能提升问题，提出了自适应分支蒙特卡洛树搜索（AB-MCTS）框架。现有推理阶段优化方法（如重复采样、标准MCTS）存在局限——重复采样仅侧重“广度探索”、序列优化仅侧重“深度利用”、标准MCTS采用固定分支因子，均无法灵活平衡探索与利用。

大型语言模型（LLMs）在多轮对话中存在效率问题：不同用户会话中语义相似的查询会触发冗余计算，并产生重复的内存密集型键值（KV）缓存。现有优化方案（如前缀缓存）忽略了语义相似性，而典型的语义缓存要么无视对话上下文，要么未与底层KV缓存管理相结合。本文提出SmartCache，这是一种系统-算法协同设计框架，通过挖掘跨会话的语义查询相似性来解决该效率问题。SmartCache利用语义森林（Semantic Forest）结构对对话轮次进行分层索引，仅在语义查询和对话上下文均匹配时，实现高效的响应检索与复用。

随着大语言模型（LLM）规模不断扩大，流水线并行因其低通信需求，在面向吞吐量的LLM推理中展现出巨大潜力。但预填充（prefill）和解码（decode）阶段的工作负载不平衡，以及复杂的数据依赖，会导致大量流水线气泡，严重降低性能。现有方法如张量并行（Tensor Parallelism）存在高频通信开销，传统流水线并行则受限于气泡问题，而混合批处理与分块预填充虽有优化，但仍面临数据依赖和内存开销问题。

大语言模型（LLM）的长上下文推理通常会产生键值（KV）缓存，其占用空间超出GPU上高带宽内存（HBM）的容量。现有LLM推理框架（如vLLM）通过将KV缓存页交换至主机DRAM来缓解这一压力，但大规模DRAM池的高成本导致该方案在经济上缺乏吸引力。尽管相较于DRAM，卸载至SSD是一种成本效益更高的内存扩容方式，但FlexGen等传统框架因SSD流量需通过CPU路由至GPU的数据流存在严重带宽限制，导致吞吐量大幅下降。

大语言模型（LLMs）通过扩大模型规模和/或数据规模取得了显著的性能提升。然而，近期证据表明此类方法的收益逐渐递减，这促使研究方向转向推理时计算资源的扩展。现有基于奖励模型的确定性推理时扩展方法通常将任务转化为搜索问题，但存在一个关键局限：早期剪枝。由于奖励模型本身的不完善性，有潜力的轨迹可能被过早丢弃，导致性能次优。本文提出一种新颖的推理时扩展方法，通过适配基于粒子的蒙特卡洛技术实现。该方法维持多样化的候选轨迹集合，并稳健地平衡探索与利用过程。

大型语言模型（LLMs）已展现出通过高级推理、长文本生成和工具使用来处理日益复杂任务的能力。解决这些任务通常需要长时间的推理计算。在人类问题解决中，加速工作的常见策略是协作：将问题分解为子任务、同时探索不同策略等。近期研究表明，LLMs也可通过实现显式协作框架（如投票机制或显式创建可并行执行的独立子任务）进行并行运算。然而，这些框架并非适用于所有类型的任务，这会限制它们的适用性。

本文聚焦大型语言模型（LLMs）的解码过程优化，核心是解决传统解码策略（如top-k采样、束搜索）的规则依赖性、任务局限性，以及现有奖励模型（RM）计算开销大的问题。作者从推荐系统视角重新解读LLMs：将输入视为用户信息，模型生成的候选响应视为推荐物品，解码过程类比推荐系统的排序阶段，进而提出——一种轻量级排序框架。基础模型生成多个候选响应；提取基础模型特定中间层（约底层60%位置）的隐藏状态作为输入指令和候选响应的特征（复用基础模型特征，避免冗余计算）；

降低大型语言模型（LLMs）中的键值（KV）缓存负担可显著加速推理过程。解码阶段动态选择关键KV缓存有助于维持模型性能。现有方法采用随机线性哈希识别重要令牌，但由于LLMs中查询和键在两个窄锥体内呈正交分布，该方法效率低下。本文提出Spotlight Attention，一种采用非线性哈希函数优化查询和键嵌入分布的新方法，可提升编码效率和鲁棒性。我们还基于Bradley-Terry排序损失开发了轻量、稳定的训练框架，能够在16GB内存的GPU上于8小时内完成非线性哈希模块的优化。

估计治疗效果对于医疗领域的个性化决策至关重要，但该任务在临床实践中面临独特挑战。训练阶段，治疗效果估计模型通常基于包含详细患者信息的结构化医疗数据集进行训练。然而，在推理阶段，预测往往只能通过文本描述（例如患者自我报告症状的描述）完成，而这些文本描述是原始患者信息的不完整表征。本研究做出三项贡献：（1）我们证实，训练阶段与推理阶段可用数据的差异会导致治疗效果估计产生偏差，并将该问题形式化为“推理时文本混淆”问题——即混淆变量在训练阶段完全可观测，但在推理阶段仅能通过文本部分获取；

增强型大型语言模型（Augmented Large Language Models, LLMs）通过API调用整合外部数据源，从而增强独立LLM的能力。在交互式应用中，高效调度对于维持较低的请求完成时间至关重要，这直接影响用户参与度。然而，这些增强功能带来了新的调度挑战：增强型请求的规模（以令牌数计）不再与执行时间成比例相关，导致最短作业优先（Shortest Job First）等传统基于规模的调度算法效果下降。此外，请求在API调用期间可能需要不同的处理方式，这必须纳入调度考虑范畴。

该研究聚焦于视觉语言模型（VLMs）推理加速问题，针对现有推测解码技术在VLMs中仅能实现有限加速（<1.5倍）的痛点，提出了专为VLMs设计的视觉感知推测解码框架（ViSpec）。核心思路是解决视觉数据冗余与模态一致性难题：通过轻量级视觉适配模块压缩图像令牌，提取全局视觉特征并注入文本生成过程，同时构建含长响应的合成训练数据集，让小型草稿模型能有效利用视觉上下文进行预测。

尽管涉及长文本输入的应用对于有效利用大语言模型（LLMs）至关重要，但这些应用也会导致计算成本增加和性能下降。为解决这一挑战，我们提出了一种高效、无需训练的提示压缩方法，该方法能在压缩后的提示中保留关键信息。我们在基于Transformer的LLMs中识别出特定的注意力头（我们将其命名为评估头），这些注意力头能够筛选出长输入中对推理最为重要的tokens。基于这一发现，我们开发了EHPC——一种基于评估头的提示压缩方法。

本文针对中小型大语言模型（LLMs）的私有无服务器部署场景，提出了一种名为LLM-Mesh的推理方案，旨在通过异构硬件（CPU和GPU）的弹性共享提升服务能力。现有方案多采用独占GPU的部署模式，但存在资源利用率低的问题：一方面，带有内置加速器（如Intel AMX）的新兴CPU架构具备服务中小型LLM的能力却未被充分利用；另一方面，CPU和GPU均可同时容纳多个LLM。令牌级细粒度资源分配：在令牌生成过程中动态调整计算资源，应对波动的计算需求；协调式前瞻内存扩展机制。

在边缘-云推测解码（SD）中，配备小语言模型（SLM）的边缘设备生成草稿token，再由云端的大语言模型（LLM）进行验证。此类系统的一个关键瓶颈是边缘与云端之间有限的通信带宽，这在实际边缘-云部署场景中对效率提出了更高要求。本文提出一种新颖的“量化-采样（Q-S）”策略，可证明地保持生成token的分布与LLM直接生成的分布一致。基于此模型，我们提出一种自适应机制，通过动态调整草稿长度和量化精度，以响应语义不确定性和信道条件，从而优化token吞吐量。仿真结果表明，所提出的Q-S方法显著提升了解码性能。

TiDAR 是一款序列级混合架构语言模型，核心目标是解决自回归（AR）模型吞吐量低、扩散语言模型（dLM）质量与并行性矛盾的问题。其通过“扩散 drafting（思考）+ 自回归 sampling（生成）”的双模式设计，在单模型单次前向传播中实现并行高效生成与高质量输出的平衡。背景：AR模型生成质量高但逐token生成、吞吐量低；扩散模型支持并行生成但存在质量退化，现有方法难以兼顾三者。

背景与问题dLLMs作为自回归模型（ARMs）的替代方案，虽有双向注意力、并行生成等优势，但现有并行解码方法会偏离逐步解码过程，导致性能下降，且传统推测解码需额外辅助模型，存在冗余和内存开销。dLLMs因双向注意力机制，难以直接应用ARMs的KV缓存策略，虽有自适应缓存框架将其从计算密集型转为内存密集型，但仍需更高效的解码方法。SSD框架设计自生成机制：让dLLM自身同时为多个位置生成候选 tokens，并输出置信度分数，无需额外草稿模型。分层验证树。

核心问题发现：TTS技术的核心前提是“候选响应多样性提升可靠性”，但研究发现，即使轻微降低候选多样性，TTS生成不安全输出的概率会显著增加，这是此前未被识别的失效模式。REFDIV协议提出：设计“参考引导多样性降低协议（REFDIV）”，通过遗传算法迭代优化提示词，先引导候选响应向有害方向偏移，再最小化其多样性（用香农熵衡量），以此对TTS管道进行压力测试。实验验证范围模型覆盖。

研究背景：基于大型语言模型（LLM）的生成式推荐（LLMRec）虽性能优异，但因KV缓存的巨大计算开销和内存压力，推理延迟高，限制了实际应用（如需要毫秒级响应的工业场景）。现有方法局限缓存压缩：通过移除次要KV对减少缓存，但推荐任务解码步骤少（生成1-5个token），加速效果有限。提示压缩：通过缩短输入序列减少初始KV缓存，但难以区分推荐任务中用户交互的重要性，易丢失关键信息导致准确性下降。核心发现：通过分析LLMRec的注意力分数分布，发现两个关键特征：层间注意力稀疏度反转。

本文针对大型语言模型（LLMs）在边缘设备部署时面临的计算和内存资源挑战，提出了一种名为VEDA的定制加速器，通过算法、数据流和硬件的三重优化提升LLM推理效率。算法层面：提出基于投票的KV缓存淘汰算法，通过每个token的注意力分数作为“选票”，自适应识别不重要的KV向量，平衡硬件效率和算法准确性，解决现有方法的偏差问题。数据流与硬件层面。

提示优化方法在对齐黑箱大型语言模型（LLMs）方面已展现出显著成效。与此同时，BEST-OF-N采样、MAJORITY VOTING等推理缩放策略也通过权衡计算资源，有效提升了模型的对齐效果与性能。然而，现有提示优化方法均不考虑推理策略——即优化提示时完全忽略部署阶段所采用的推理策略。这一问题构成了重大的方法论缺口：我们的实证与理论分析表明，提示优化与推理策略这两大范式之间存在强关联性。此外，我们发现用户对多目标权衡及推理预算的偏好，会显著影响提示选择与推理配置的决策。

本文聚焦于大型语言模型（LLMs）训练中的“数据集滥用”问题（即检测可疑模型是否使用了特定受害者数据集进行训练），提出了一种仅需黑盒访问权限（仅通过文本响应）的数据集推理方法。问题背景：LLM训练常涉及个人信息或受版权保护的材料，引发隐私和法律争议（如《纽约时报》起诉OpenAI）。现有解决方案中，成员推理攻击（MIAs）因数据集规模扩大或数据分布独立同分布（IID）时准确率接近随机猜测而受限；现有数据集推理方法依赖灰盒访问（需中间输出如概率、损失值），实用性不足。核心方法。

当前的预填充-解码（PD）解耦通常部署在整个服务引擎层面，为预填充和解码阶段分配独立的GPU。这种方法虽能降低延迟，但需要更多硬件。为提高GPU利用率，“分块预填充”（Chunked Prefill）在同一批次中混合预填充和解码请求，却会导致两阶段间的干扰。尽管现有PD解耦方案将两阶段分离到不同GPU上，但本文提出：能否在单个服务引擎内实现同样的解耦？核心挑战在于当两阶段共享硬件时，如何管理它们冲突的资源需求。本文首先证明，分块预填充请求会因对GPU资源的独特需求而干扰解码请求；

本文围绕大型语言模型（LLMs）推理效率的优化展开，提出了一种基于sink token正交性的动态token选择方法OrthoRank，以降低计算成本并保持模型性能。核心观察分析发现，在LLMs中，sink token（通常为输入序列的第一个token）的归一化隐藏状态在深层中几乎不变，而其他token的归一化隐藏状态与sink token的余弦相似度随层数加深逐渐增加，即其他token在不断向sink token“靠近”。OrthoRank方法。

本文聚焦于大型语言模型（LLMs）训练中的“数据集滥用”问题（即检测可疑模型是否使用了特定受害者数据集进行训练），提出了一种仅需黑盒访问权限（仅通过文本响应）的数据集推理方法。问题背景：LLM训练常涉及个人信息或受版权保护的材料，引发隐私和法律争议（如《纽约时报》起诉OpenAI）。现有解决方案中，成员推理攻击（MIAs）因数据集规模扩大或数据分布独立同分布（IID）时准确率接近随机猜测而受限；现有数据集推理方法依赖灰盒访问（需中间输出如概率、损失值），实用性不足。核心方法。

本文针对大型语言模型（LLMs）长上下文推理中GPU内存受限（尤其是KV缓存随上下文增长而膨胀）的问题，提出了一种混合CPU-GPU注意力机制HGCA。计算分工：在GPU内存中保留近期生成的KV条目，对其执行密集注意力计算；在CPU内存中存储选定的重要KV条目，对其执行并行稀疏注意力计算。结果融合：通过log-sum-exp融合策略高效合并GPU和CPU的注意力输出，最大限度减少PCIe传输开销。稀疏化策略。

分布式推理是在网络边缘实现大型语言模型（LLMs）推理的一种很有前景的方法。它将推理过程分配到多个设备上，以确保LLMs能够适配设备内存。近年来，基于流水线的方法有望实现通信与计算的并行化，从而减少推理延迟。然而，当网络边缘的推理请求稀疏时，这种优势会减弱，因为此时流水线的利用率通常较低。为了在边缘实现高效的分布式LLM推理，我们提出了FlowSpec，一种基于流水线并行的树结构投机解码框架。

问题发现：当前移动设备的CPU、GPU和内存调控器独立工作，缺乏协调，导致LLM推理的延迟和能效表现不佳。在相同能耗下，默认调控器的预填充和解码延迟比最优频率组合最多高40.4%；在相同延迟下，能耗最多高16.6%。原因分析：通过控制实验发现，独立调控器存在两大问题：（1）单独工作时，CPU和GPU调控器倾向于选择过低频率，导致延迟增加；（2）协同工作时，CPU和GPU调控器会触发“向下螺旋”效应——相互促使对方降低频率，进一步恶化性能。解决方案。