阿正的梦工坊

《Investigating Data Contamination for Pre-training Language Models》

模型的元认知能力——即自我评估和识别知识局限的能力——在医疗决策中至关重要，却鲜有研究深入探讨。发表在《Nature Communications》（2025年）的文章《Large Language Models lack essential metacognition for reliable medical reasoning》通过引入MetaMedQA基准，系统评估了12个LLM在医学推理中的元认知能力，揭示了当前模型的显著缺陷。

Ehud Reiter的《基准测试让我们偏离真正重要的事情》深刻批判了当前LLM基准测试的局限性，指出其对易于测量任务的过度关注忽视了用户真正关心的能力，如情绪适当性。他通过分析健康、法律和软件开发领域的案例，呼吁开发更全面、现实导向的评估体系。

Ehud Reiter的《我想要一个情绪困扰基准测试》提出了一种创新的LLM评估思路，聚焦于生成文本的情绪安全性，特别是在健康信息和支持领域。

Ehud Reiter的《LLM编码基准测试是否衡量现实世界效用》深入探讨了编码基准测试（如SWE-bench）与现实世界效用评估（如Pandey等人研究）的差异。

提出了优质基准测试和套件的具体标准。他的分析不仅指出了当前测试的局限性（如数据污染、低挑战性、缺乏现实世界关联），还通过现实案例和改进建议为未来发展指明方向。

Reiter的博客揭示了LLM评估中的一个关键盲点：尽管LLMs被广泛用于文本生成，但其生成能力的评估却严重不足。

《The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks》

Cunningham 等人在论文《Sparse Autoencoders Find Highly Interpretable Features in Language Models》中提出了一种基于稀疏自编码器（Sparse Autoencoders, SAEs）的无监督方法，旨在解决语言模型中特征的多义性（Polysemanticity）和叠加（Superposition）问题，从而提取更具可解释性和单义性（Monosemantic）的特征。

ICLR 2025发表的论文《ReAttention: Training-Free Infinite Context with Finite Attention Scope》

动机推理作为一种普遍的认知现象，不仅塑造了人类的信息处理方式，也在某种程度上影响了大语言模型的行为。通过分析 Claude 的“伪动机推理”，我们看到 LLM 如何在复杂任务中模仿人类的选择性证据使用和目标导向推理。

经验时代的四大维度——经验流、丰富交互、环境奖励和非人类推理——为这一愿景提供了具体的实现框架。

John Schulman在其2020年3月7日的博客中详细探讨了如何通过蒙特卡洛方法近似KL散度，并提出了一种低方差、无偏的估计器。这一方法不仅在理论上具有重要意义，还被DeepSeek的GRPO算法所采用。

本文将深入介绍 REINFORCE++ 的核心思想、算法细节、与 PPO 的区别，以及其在 RLHF 背景下的优势和意义，特别针对疑问“REINFORCE++ 和 PPO 的区别是什么？不就是把 advantage 换了？”进行详细解答。通过数学公式、直观解释和专业洞见，帮助读者深刻理解这一算法。

强化学习的两个核心问题——延迟信号的归因问题和探索-利用的权衡——是阻碍其广泛应用的关键挑战。归因问题要求智能体在时间跨度长、因果关系复杂的情况下，准确分配奖励；而探索-利用权衡则要求智能体在有限资源下平衡短期收益和长期潜力。

本文将深入探讨PPO损失函数中为什么使用新旧策略的比例，而不是直接使用新策略，以及新旧策略比例与优势值的乘积的意义。为了让内容更直观，我们将通过一个NLP任务的例子（生成对话回复）来解释这些概念。

本文将深入探讨REINFORCE算法的思路、数学细节、Baseline增强形式、其他变体，以及其在RLHF背景下的意义与局限，为专业人士提供深刻的洞见。

在人工智能（AI）发展的70年历程中，强化学习（RL）领域的先驱Rich Sutton于2019年发表了《The Bitter Lesson》一文，提出了一个深刻而发人深省的观点：在AI研究中，依赖计算能力的通用方法最终总是最有效的，且优势显著。

AI的焦点转向了评测（evaluation）的重新定义。下半场的游戏规则可以总结为：1. 开发针对现实世界效用（utility）的新评测体系或任务。2. 使用配方解决这些任务，或通过新方法增强配方，持续迭代。

Google DeepMind的论文《WARM: On the Benefits of Weight Averaged Reward Models》

Disentangling Length from Quality in Direct Preference Optimization

论文最重要的理论贡献是挑战了显式思考过程的必要性。实验表明，即使在经过强化学习或CoT微调的推理模型中，显式思考可能并非性能提升的唯一途径。NoThinking的成功表明，模型可能通过训练过程中内化的推理能力直接生成高质量答案。这一发现为高效推理提供了新的视角。

《Why do LLMs attend to the first token?》

Markov 决策过程（MDP）是一种数学框架，用于建模序列决策问题，特别适合描述智能体（agent）与环境（environment）交互并通过学习策略（policy）最大化累积奖励（cumulative reward）的场景。MDP 的核心假设是马尔可夫性，即未来的状态和奖励仅依赖于当前状态和动作，而与历史无关。

VAPO（Value-based Augmented Proximal Policy Optimization）

《What's Behind PPO's Collapse in Long-CoT? Value Optimization Holds the Secret》

解决Long-COT的问题，代码实现

2018年，Peter Shaw等人在论文《Self-Attention with Relative Position Representations》中首次提出了相对位置编码（Relative Position Representations）的概念，为Transformer引入了一种更灵活、更高效的位置信息建模方式。

Anthropic的Alignment Science团队在最新论文《Reasoning Models Don't Always Say What They Think》中揭示了一个关键问题：CoT并不总是忠实地反映模型的真实推理过程。

Transfusion为多模态建模开辟了一条新路。它表明，我们无需在离散和连续模态间妥协，而是可以通过混合训练目标和灵活的注意力机制，在单一模型中兼得两者的优势。

在《Contrastive Predictive Coding (CPC)》论文中，作者将其用于无监督表示学习，目标是让模型从高维数据中提取有用的表示。简单来说，InfoNCE Loss 的核心思想是：通过对比正样本和一组负样本，训练模型区分“相关”和“不相关”的数据对，从而捕获数据的深层语义信息。

本文将详细介绍这个问题的原因，并提供一个简单实用的解决方案，帮助你在恢复性训练时保持 WandB 日志的连续性。

本文将详细介绍 SentencePiece 的原理、实现方式、特点，以及它在 T5 中的具体应用，面向深度学习研究者提供深入解析。

WordPiece 是 BPE 的一个重要改进，通过引入最大化似然概率的评分机制，克服了 BPE 单纯依赖频率的局限性。它在 BERT 等模型中证明了其价值，尤其在需要语义相关性和语言模型支持的场景中表现出色。

BPE 的基本思想可以用一句话概括：从字符级别开始，通过统计频率最高的字符对或子词对，逐步构建一个词汇表，用于表示文本中的单词或子词单元。 这种方法既能保留词的语义信息，又能灵活处理未见过的新词（out-of-vocabulary, OOV），在深度学习模型中表现出色。

踩坑记录

踩坑记录

为什么这些激活函数会成为新宠？它们又有哪些优越的性质呢？本文将为你详细解析。

PIXART-α 的模型结构通过在 DiT 上引入交叉注意力、优化 adaLN 为 adaLN-single 并结合重参数化技术，实现了高效且高质量的 T2I 生成。

损失是基于自回归语言建模的交叉熵损失，计算模型预测下一个token的准确性。结合instruction tuning，模型通过这种方式学习生成与指令匹配的回复。