- 博客(50)
- 收藏
- 关注
RSS订阅原创 【论文阅读笔记】Context Language Models：让语言模型把自己的上下文当成文件来管理
Context Language Models：标准语言模型只能把新生成的 token 追加到上下文末尾；CLM 则把“当前上下文”本身交给模型管理，模型可以追加、删除、重写、压缩、卸载上下文，甚至定义可复用的上下文管理函数。 实现上，论文把模型的实时上下文映射成一个可编辑文件，模型通过 Bash 等通用工具直接编辑这个文件，编辑结果立即同步为下一轮模型调用看到的上下文。
2026-11-08 12:00:00
350
原创 LLaMA-Factory 训练显存优化：详解各优化参数对显存占用的具体影响
本文详细解读 LLaMA-Factory 各参数对显存影响的具体机制
2026-11-08 09:00:00
303
原创 【论文阅读笔记】Score Centering 如何稳定存在训练-推理不匹配的强化学习
大语言模型强化学习里，负责生成 rollout 的 sampler 和负责计算梯度的 trainer 往往不是完全同一个数值系统，二者之间存在训练-推理不匹配（training-inference mismatch，TIM）
2026-11-03 21:28:08
486
原创 【论文阅读笔记】GRAFT：用梯度路由消除 reward hacking
给模型加上两套额外的适配器参数：RETAIN 适配器和 FORGET 适配器。当监控器发现某条轨迹里有不良行为时，就把这条轨迹的梯度只更新到 FORGET 适配器上；正常轨迹则两个适配器都更新。训练结束后，直接把 FORGET 适配器删除，去除 hacking 行为，而正常任务能力保留在 RETAIN 适配器和基座模型里
2026-10-29 11:46:47
252
原创 大模型批量生成中的左填充 (left padding)与右填充 (right padding)：从生成正确性到 GRPO 的混合策略
左填充虽能保障解码器批量生成的正确性，但会引发位置编码偏移等隐蔽问题。训练阶段通常采用右填充以简化损失计算，而GRPO等方法则采用分阶段混合策略：生成时左填充Prompt，训练时右填充Completion，拼接后通过掩码控制注意力与损失。使用PyTorch的scaled_dot_product_attention实现左填充还需处理布尔掩码反转及全零行导致的NaN问题。位置编码偏移是左填充最隐秘的副作用，可能导致模型输出分布系统性偏差，即使文本“通顺”也未必正确。
2026-10-27 22:23:34
297
原创 Agent Skills、MCP 与工具调用有什么区别？
现代 AI Agent 中，工具调用（Function Calling）、MCP（Model Context Protocol）、Agent Skills（技能） 不是互相替代的三套方案，而是位于不同层级的能力...
2026-10-25 10:30:50
305
原创 【论文阅读笔记】FlexLoop：让循环深度强化学习策略按状态自适应使用计算
理想情况下，一个 looped 策略应该具备同一个策略在多个循环深度下都能保持可靠决策质量，并且可以在部署时根据计算预算或状态难度灵活调整循环步数。简单状态少算几步；困难状态多算几步；在算力受限时降低平均循环深度；在算力充足时保持全深度性能。但固定深度训练没有产生这种弹性，而是把部署计算绑定到训练深度。
2026-09-29 23:25:51
432
原创 【论文阅读笔记】强化学习中的计算视角：打破静态策略，用“思考时间”换取泛化能力
On the Role of Computation in Reinforcement Learning，ICML 2026 spotlight：这篇文章挑战了强化学习（RL）中一个根深蒂固的传统观念：将策略视为固定计算量的静态映射函数。作者提出了一种极简的循环神经网络架构（IRU），并在31个离散与连续任务上验证了“增加计算量（循环次数）”能显著提升策略的性能与泛化上限
2026-09-29 23:19:57
338
原创 【论文阅读笔记】Reparameterization Proximal Policy Optimization (RPO)：将PPO的稳定性引入可微分强化学习
ICML 2026 这篇文章提出了 Reparameterization Proximal Policy Optimization (RPO) ，核心贡献在于建立了重参数化策略梯度（RPG）与PPO风格替代目标函数之间的理论联系，从而为RPG提供了统一、稳定的样本复用机制。
2026-07-31 17:58:19
383
1
原创 【论文阅读笔记】How Far Can Unsupervised RLVR Scale LLM Training?
【ICLR 2026】这篇文章系统揭示了基于模型内在信号（intrinsic rewards）的无监督 RLVR 方法本质上是在锐化（sharpen）模型的初始分布。当模型初始置信度与正确性一致时，这种方法能放大正确偏好；但当两者不一致时，同样的机制会灾难性地放大错误，导致模型崩溃。文章进一步提出，外部奖励（external rewards），特别是利用生成-验证不对称性（generation-verification asymmetry）的方法，才是突破监督瓶颈、实现可扩展训练的可行路径。
2026-07-31 17:04:42
479
1
原创 【论文阅读笔记】模仿学习中的误差界：从策略模仿到环境模仿
NeurIPS 2020、TPAMI 2022 论文阅读笔记。这篇文章研究模仿学习（Imitation Learning, IL）中的误差传播（compounding error）问题。核心结论是相比于 BC，用 GAIL 学习环境模型可将策略评估误差从二次降为线性
2026-07-14 14:43:59
606
1
原创 【论文阅读笔记】ReVal：让大模型强化学习真正支持离策略（off-policy）数据复用
这篇论文提出了 ReVal（Replay-based Value Learning），一种用于大语言模型（LLM）后训练的离策略（off-policy）价值强化学习方法，旨在解决大语言模型（LLM）在强化学习微调过程中样本效率低下与轨迹生成成本高昂的核心痛点。
2026-04-10 10:12:36
659
原创 【论文阅读笔记】UNICORN：用信息论统一上下文离线元强化学习
Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning, NeurIPS 2024 spotlight
2026-04-03 20:00:00
748
原创 【理论推导】指数族分布的核心性质：对数配分函数的梯度为什么是充分统计量的期望？
对于指数族分布，对数配分函数 $A(\eta)$ 关于自然参数 $\eta$ 的梯度，恰好等于该分布下充分统计量 $T(x)$ 的期望。本文给出这一性质的理论证明。
2026-04-03 12:30:00
408
原创 M-Projection 与 I-Projection：概率分布投影的两种基本范式
M-Projection（矩投影）和 I-Projection（信息投影）是两种基于 KL 散度的基本近似方法。它们核心区别在于 KL 散度的计算方向不同
2026-04-02 20:00:00
348
原创 【LLM学习笔记】Encoder-Decoder vs Decoder-only
Encoder-Decoder 采用双向编码 + 条件解码的两阶段设计，适用于输入输出长度可变、需建立显式对齐的任务（如机器翻译、摘要生成）；Decoder-only 采用纯自回归解码设计，仅依赖历史上下文预测下一词，适用于语言建模、对话生成等单向条件任务
2026-04-02 13:00:00
836
原创 【LLM学习笔记】Batch Normalization vs Layer Normalization，为什么 NLP 中使用 LN 而非 BN
BN：利用数据批次的统计特性，适用于样本间具有可比性、输入尺寸固定的场景（CNN图像任务）；LN：利用特征维度的统计特性，适用于样本间独立、输入长度变化的场景（Transformer文本任务）
2026-04-01 22:32:46
586
原创 【论文阅读笔记】GlobeDiff：用扩散模型从局部观测生成全局状态，破解多智能体部分可观测难题
本文介绍了 GlobeDiff，一种基于条件扩散模型（Conditional Diffusion Model）的全局状态推断算法。它的核心思想是将状态推断建模为一个生成过程，通过引入潜在变量 z 来解决局部观测到全局状态的“一对多”映射歧义。理论证明和实验表明，GlobeDiff 不仅能准确推断全局状态，还能显著提升多智能体协作任务的性能。
2026-03-02 21:49:13
980
原创 TD(λ)，资格迹（Eligibility Traces）与时序差分学习的统一
TD(λ) 是时序差分学习与资格迹结合的统一算法，通过参数 λ∈[0,1] 实现 单步 TD(0) 与 蒙特卡洛方法 的连续插值。它提供两种等价的实现视角：前向视图（理论分析）和后向视图（在线实现）。
2026-01-01 10:32:50
947
原创 【论文阅读笔记-meta rl】Meta-Q-Learning (MQL)：Q-learning + 元强化学习
这篇文章提出了 Meta-Q-Learning (MQL)，一个基于Q-learning的离策略（off-policy）元强化学习算法。它的核心发现令人意外：在现有meta-RL基准测试中，普通的TD3算法只要加上一个"上下文变量"（context variable）来表征历史轨迹，就能与MAML、PEARL等复杂的元学习算法平起平坐。基于这一发现，MQL进一步利用倾向得分估计（propensity estimation）技术，智能地"回收"元训练阶段积累的旧数据，使其在新任务适应阶段发挥价值。
2025-12-14 13:15:00
686
原创 【论文阅读笔记-meta rl】上下文离线元强化学习中的任务表征偏移控制 (Reining In Task Representation Shift Of COMRL)
这篇文章提出在上下文离线元强化学习（COMRL，Context-based Offline Meta-RL）中存在一个被忽视的问题——任务表示偏移（Task Representation Shift）。现有方法交替优化上下文编码器和策略时，假设最大化互信息即可保证性能提升，却忽略了任务表征本身的变化可能破坏单调性能改进。作者通过理论证明，只有当任务表示的更新幅度足够小时，才能保证性能的单调提升。基于这一洞察，他们提出了一个简单的控制机制：通过调整上下文编码器的更新频率和更新次数，来"勒住"任务表示的偏移。
2025-12-14 09:00:00
731
原创 【论文阅读笔记-meta rl】SiMPL：技能驱动的元强化学习
这篇文章提出了一种名为 SiMPL（Skill-based Meta-Policy Learning）的算法，首次将元强化学习（Meta-RL）与大规模无标注离线数据结合，解决了长时程、稀疏奖励任务的快速适应难题。传统强化学习需要数百万次环境交互才能学会复杂行为，而SiMPL通过三阶段流程实现了数量级的效率提升。
2025-12-13 14:00:00
1569
原创 【论文阅读笔记-meta rl】MBML：解决任务推断中的伪相关性
在多任务强化学习中，我们通常希望训练一个能够泛化到多个任务的策略。然而，当训练数据来自不同任务且它们的状态-动作分布差异较大时，策略可能会学习到错误的任务推断方式——即仅根据状态-动作对判断任务，而忽略奖励信号。这会导致在未见任务上表现不佳。本文阅读的方法，MBML，希望解决这一问题。
2025-12-13 09:00:00
827
原创 元强化学习经典方法：RL²、MAML-RL、MAESN、PEARL、VariBAD
本文将系统梳理2016-2020年间五个具有里程碑意义的元强化学习（Meta-RL）研究工作：RL²、MAML-RL、MAESN、PEARL和variBAD。这些工作共同解决的核心问题是：如何让智能体利用以往任务的经验，在新任务中通过极少的环境交互就能快速学习？
2025-12-11 13:29:14
798
原创 【论文阅读笔记】FOCAL 离线元强化学习，从静态数据中快速适应新任务
FOCAL（Fully-Offline Context-based Actor-critic meta-Learning）算法首次实现了无需任何在线交互的端到端元强化学习。它通过三个关键设计——确定性上下文编码器、负幂距离度量损失和解耦训练策略——让智能体仅从历史数据中就能学会"如何快速学习新任务"。在6个标准测试环境中，FOCAL相比现有方法样本效率提升显著，且能稳定收敛。
2025-12-05 22:35:01
1276
原创 【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
本文介绍了一种解决离线元强化学习中转移-奖励分布偏移问题的新方法IDAQ，通过理论分析和实验验证展示了其优越性能。
2025-11-29 09:15:00
560
1
原创 【论文阅读笔记】UBER：用随机意图从无奖励数据中提取有用行为
这篇论文提出了一种名为UBER（Unsupervised Behavior Extraction via Random Intent Priors）的全新框架，核心思想出奇地简单却有效：在无奖励的离线数据上，用随机生成的伪奖励函数训练多个策略，这些策略会自发涌现出多样化且有用的行为，进而加速新任务的学习。
2025-11-28 23:49:16
1106
原创 【论文阅读笔记】ALFRED：面向日常任务的 grounded 指令理解基准
ALFRED（Action Learning From Realistic Environments and Directives）是一个用于具身智能体的任务完成基准测试。它的目标是让智能体能够根据人类的自然语言指令（例如“把杯子洗干净放进咖啡机”），在模拟的家庭环境中执行一系列动作，完成复杂的日常任务。
2025-11-27 14:30:06
454
原创 【论文阅读笔记】多实例学习 (Multiple instance learning) 综述：A survey of problem characteristics and applications
在多示例学习（Multiple Instance Learning, MIL）中，我们面对的数据不是一个个独立的样本，而是成组的样本集合，称为“包”。我们只知道整个包的标签，而不知道包内每个样本的标签。这篇综述系统性地梳理了定义MIL问题的各种内在特性，并深入探讨了这些特性如何影响算法性能。
2025-11-23 09:15:00
968
原创 多实例学习：Diverse Density（DD）变体 EM-DD 方法
Diverse Density（DD）及其变种EM-DD是多实例学习领域最具代表性的实例空间方法之一；考虑到直接优化DD函数计算量大且不稳定。EM-DD使用期望最大化（EM）框架实现高效优化。
2025-11-19 14:30:00
1882
原创 【论文阅读笔记】多实例学习方法 Diverse Density（DD）：在特征空间中寻找正概念的坐标
多实例学习：训练数据以"包"（bag）为单位标记，正包包含至少一个正实例（但不知道具体是哪一个），负包仅含负实例。Diverse Density通过最大化"正包交集与负包并集之差"的概率密度来定位目标概念。
2025-11-19 10:10:00
1396
1
原创 【理论推导】互信息与InfoNCE损失：从公式推导理解对比学习的本质
逐步理论推导：InfoNCE损失函数通过对比正负样本，实际上是在最大化变量间互信息的下界
2025-11-09 09:15:00
1978
1
原创 【论文阅读笔记】Generalized Decision Transformer：用统一框架解决离线强化学习中的 Hindsight Information Matching 问题
【ICLR 2022 Spotlight】GDT / HIM：将强化学习中的多种“ hindsight ”方法统一为“ hindsight 信息匹配”问题，并通过一个广义的决策变换器架构（Generalized Decision Transformer，GDT），用行为克隆的方式解决这类问题
2025-11-07 22:18:23
1143
原创 度量 metric、伪度量 pseudometric、拟度量 quasimetric、半度量 semimetric
定义度量 metric、伪度量 pseudometric、拟度量 quasimetric、半度量 semimetric并给出相关例子
2025-10-20 11:22:36
1456
原创 【论文阅读笔记】大模型多轮对话综述：Beyond single-turn A survey on multi-turn interactions with large language models
单轮交互模式极大地限制了LLMs能力的发挥，因为它忽略了对话中最关键的要素：历史上下文。本文综述了多轮交互任务及方法。
2025-10-17 23:50:36
1744
1
原创 评估动作生成质量的两大指标：笛卡尔误差 Cartesian error 与 Motion FID
在动作生成任务中，笛卡尔误差关注生成动作与真实动作在每帧位置上的精确匹配程度，而Motion FID 则评估生成动作整体分布的自然度和真实性。
2025-10-17 09:15:00
1805
原创 深入理解生成模型和判别模型的区别
生成模型学习数据的联合概率分布，从而能够理解数据是如何生成的，甚至可以创建新样本；判别模型直接学习条件概率分布，专注于从输入数据中预测输出标签，但不关心数据本身的生成过程。
2025-10-09 10:00:00
806
原创 深度理解互信息（MI）与Wasserstein依赖度量（WDM）对距离度量的依赖程度差异
互信息（Mutual Information，MI）不依赖于样本空间的距离度量，只关注概率分布之间的统计依赖性；Wasserstein依赖度量（Wasserstein Dependency Measure，WDM）必须依赖于明确的样本空间的距离度量来计算分布间的差异。
2025-10-08 21:43:56
940
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人