chansonzhang-CSDN博客

原创具身智能相关论文

本文梳理了强化学习与视觉-语言-动作（VLA）模型的最新进展，涵盖从2022年Flow Matching到2026年π0.7的系列创新。重点包括Diffusion Policy、ACT、RT-2、OpenVLA等模型在具身智能与机器人控制中的应用，以及π0、π0.5、$π^∗_{0.6}$等通用机器人基础模型的演进。同时介绍了安全对齐（SafeVLA、SafeDojo）与世界建模（SWIM）的前沿探索，推动机器人实现开放世界泛化与安全可控决策。

2026-08-28 17:49:49 58

原创一起来学强化学习

本文梳理了强化学习领域自1999年以来的重要里程碑，涵盖时序抽象、策略梯度、Actor-Critic框架、深度Q网络（DQN）、PPO、TRPO、AlphaGo系列、多智能体学习（MADDPG、QMIX）、离线强化学习及具身智能等方向，展现了从理论到应用的演进脉络，尤其突显深度学习与强化学习融合带来的突破性进展。

2026-03-17 11:16:11 232

原创 NLP论文共读计划

NLP 之路

2021-07-15 11:07:39 925 3

原创 [2019] [MBPO] [When to Trust Your Model: Model-Based Policy Optimization]

MBPO（Model-Based Policy Optimization）是基于模型强化学习的里程碑工作，提出将短时域模型预测与无模型策略优化结合，以实现高样本效率并避免长时域模型误差累积。通过理论分析揭示了模型误差与策略性能的关系，证明短 rollout（1–5步）可平衡信息增益与误差风险。算法利用模型生成虚拟数据，与真实数据混合训练SAC等无模型方法，保持策略鲁棒性。实验表明，MBPO在MuJoCo任务上仅需10万步即达SAC百万步性能，显著提升效率且计算更轻量。该工作确立了“模型辅助、无模型主导”的范

2026-11-10 12:04:34 6

原创 [2018] [PETS] [Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Mode]

PETS（Probabilistic Ensembles with Trajectory Sampling）通过神经网络集成建模环境动力学，结合轨迹采样传播不确定性，在少样本下实现高效强化学习。其利用多模型集成近似认知不确定性，每模型输出高斯分布以捕捉偶然不确定性，采用TS∞策略进行轨迹采样，有效分离两类不确定性并避免长期过度自信。结合随机MPC与CEM在线规划，仅需数百至数千步即在MuJoCo任务中超越无模型方法，真实机器人实验也验证其高样本效率。虽推理开销大，但为模型基强化学习奠定标准，启发后续工作如M

2026-11-07 19:22:37 6

原创 MBRL: Model Based Reinforcement Learning

2011年，PILCO通过高斯过程建模不确定性，实现高效、可解释的强化学习。2018年，PETS引入模型集成方法，提升策略学习的稳定性与泛化能力，二者均在不确定性建模与策略优化方面取得重要进展。

2026-11-07 19:19:11 12

原创 [2011] [PILCO] [PILCO: A Model-Based and Data-Efficient Approach to Policy Search]

PILCO是2011年提出的基于模型的强化学习奠基性工作，首次实现极低样本下的策略搜索。它利用高斯过程（GP）建模概率动力学，天然量化不确定性；通过解析传播不确定性（矩匹配）近似多步状态分布；结合解析期望计算策略梯度，避免大量采样。仅需约20次试验即在倒立摆、山地车等任务中成功学习，显著优于无模型方法。其“学习模型→传播不确定性→优化策略”的范式推动了后续MBRL发展，如PETS、MBPO，但受限于局部最优与数据覆盖范围。

2026-11-02 18:48:22 10

原创 [2021] [MAPPO] [The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games]

环境中没有离策略方法样本高效，所以当前的 MARL 主要使用离策略方法，如。MAPPO 没有提出新算法，而是指出。经过简单的修改就能在。

2026-10-30 11:08:21 4

原创 [2019] [AlphaStar] [Grandmaster level in StarCraft II using multi-agent reinforcement learning]

AlphaStar在2019年实现《星际争霸II》大师级水平，采用多智能体强化学习。其策略基于人类数据条件化（z），结合Transformer处理实时观测、LSTM建模历史，通过自回归与指针网络结构化解耦超大动作空间（$10^{26}$）。训练融合有监督初始化、IMPALA异步策略梯度与V-trace截断重要性采样，引入UPGO自模仿提升策略。采用联盟训练机制，结合PFSP优先对抗强对手、自博弈加速学习，并利用训练时特权信息优化价值估计。通过胜负奖励与伪奖励（建造顺序、统计量距离）联合训练，最终在3种族体系

2026-10-29 12:08:21 5

原创 [2018] [QMIX] [Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning]

QMIX 提出一种单调值函数分解方法，解决多智能体强化学习中的信用分配与可扩展性问题。通过引入以全局状态为条件的非线性混合网络，保证联合Q值对个体Q值单调递增，提升表达能力；采用超网络生成混合权重，实现状态依赖的非线性组合。训练时使用集中式目标，部署时保持分散执行，支持Off-Policy学习。相比VDN，QMIX能更灵活地近似复杂联合策略，但无法处理时间步内强依赖动作的反协调博弈。

2026-10-25 12:50:46 9

原创 Multi-Agent

本文综述了多智能体强化学习的关键进展：2017年MADDPG提出协同-竞争环境下的多智能体演员-评论家框架；VDN与QMIX通过值函数分解实现合作学习，其中QMIX引入单调性约束提升性能；2019年AlphaStar在《星际争霸II》中达到大师级水平，展示多智能体RL的实战能力；2021年MAPPO证实PPO在合作多智能体场景中的高效性，推动算法实用化。这些工作共同推动了多智能体系统在复杂协作与对抗任务中的发展。

2026-10-23 11:16:35 162

原创 [2017] [VDN] [Value-Decomposition Networks For Cooperative Multi-Agent Learning]

VDN（Value-Decomposition Networks）2017提出一种合作式多智能体学习框架，通过将联合价值函数分解为各智能体独立效用函数之和，缓解虚假奖励与懒惰智能体问题。每个智能体基于本地观测与历史信息（LSTM处理）学习独立价值函数，共享网络参数实现智能体不变性，支持动作选择与信用分配的可扩展性。采用Dueling Network结构提升学习效率，结合TD(λ)与经验回放实现稳定训练，适用于部分可观测环境。

2026-10-23 11:09:27 11

原创 [2018] [AlphaZero] [A general reinforcement learning algorithm that masters chess, shogi, and Go th]

AlphaZero通过通用强化学习框架，实现对国际象棋、将棋和围棋的自主掌握。相比AlphaGo Zero，其采用持续学习策略，统一使用期望收益（-1,0,+1）优化目标，并结合通用神经网络与树搜索算法，无需领域特定设计。基于自我对弈生成数据，利用MCTS与PUCT算法进行高效搜索，模型结构包含残差主干、策略头与价值头，支持多棋类输出。该方法在无先验知识下达到超人类水平，标志着通用强化学习的重大突破。

2026-10-21 12:16:12 12

原创 [2018] [BCQ] [Off-Policy Deep Reinforcement Learning without Exploration]

本文提出BCQ（Batch-Constrained deep Q-learning）算法，解决离策略Q学习在离线数据中的外推误差问题。通过约束策略仅在数据批次支持集内选择动作，并结合生成模型与扰动网络，有效避免高估偏差。利用Clipped Double Q-learning思想，采用最小值与最大值的凸组合作为目标函数，增强稳定性。实验表明，该方法在离线强化学习中表现优异，显著提升性能。

2026-10-19 19:42:14 11

原创 [2017] [MADDPG] [Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments]

MADDPG（Multi-Agent DDPG）针对混合合作-竞争环境，提出集中训练、分散执行框架，通过全局Critic评估各智能体贡献以降低方差，同时为每个智能体独立训练策略。其利用近似其他智能体策略来生成动作输入，支持连续动作空间与显式通信建模，有效应对非稳态环境挑战。相比COMA，MADDPG采用连续策略并为每个智能体配备独立Critic，提升灵活性。但其Q函数输入随智能体数量线性增长，存在可扩展性瓶颈。

2026-10-16 16:11:43 12

原创 [2024] [OpenVLA] [Openvla: An open-source vision-language-action model]

OpenVLA 是首个开源且性能超越闭源模型 RT-2-X 的 7B 参数视觉语言动作（VLA）模型，基于 Llama2 与双视觉编码器（DINOv2 + SigLIP），将机器人动作离散化为 token，通过 970k 机器人轨迹数据训练 27 个 epoch，达 95% 以上动作预测准确率。支持全量微调及高效 LoRA 微调（仅需 1.4% 参数），推理时可量化至 int4，显存减半，性能约 6Hz。未来拟拓展多视图输入、提升吞吐与任务成功率，推动具身智能开放研究。

2026-10-12 12:56:12 336

原创 [2023] [Diffusion Policy] [Diffusion Policy: Visuomotor Policy Learning via Action Diffusion]

Diffusion Policy 通过条件去噪扩散过程学习视觉-动作策略，利用基于 ResNet-18 的观测编码与 Transformer 构建时序动作生成模型。其核心为学习动作得分函数梯度，避免负采样，实现训练稳定。结合随机朗之万动力学采样，可有效建模多模态分布。采用 DDIM 加速推理，仅需 10 步即可在 0.1 秒内生成动作，显著提升实时性，且在高频动作与速度控制任务中优于传统 CNN 模型。

2026-10-11 22:01:18 142

原创 [2023] [ACT] [Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware]

本文提出ACT（Action Chunking with Transformers）算法，结合低成本硬件平台ALOHA，实现高效精细的双臂操作。通过动作分块（chunking）缩短决策视野，缓解误差累积；利用Transformer与条件变分自编码器（CVAE）建模人类演示的多模态性与非平稳性，提升策略泛化能力。训练时编码动作序列风格，推理时采样潜在变量生成多样化动作，配合高频PID控制器执行，仅需少量演示即可学习复杂技能，为低成本高质量模仿学习提供可行方案。

2026-10-11 11:52:32 159

原创 [2023] [RT-2] [RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control]

RT-2（2023）将视觉-语言-动作模型与网络知识结合，通过将连续机器人动作离散化为文本token，使大模型直接生成低级控制指令。其复用VLM语义理解能力，实现零样本推理，显著提升机器人对复杂任务的泛化能力。模型在机器人轨迹与网络视觉数据上联合微调，逐步增加机器人数据权重以防止遗忘。部署于云端TPU，5B/55B模型响应时间仅0.2–1秒。局限在于无法学习新动作，未来可借助人类操作视频数据拓展。

2026-10-11 10:44:57 210

原创 [2016] [AlphaGo] [Mastering the Game of Go with Deep Neural Networks and Tree Search]

AlphaGo结合深度神经网络与蒙特卡洛树搜索（MCTS），通过监督学习获取初始策略，强化学习优化策略网络，并训练价值网络预测胜率。利用自对弈生成数据，MCTS融合先验策略、价值评估与快速 rollout，平衡探索与效率。最终在多机部署下击败人类顶尖棋手，实现历史性突破。

2026-10-10 18:38:01 13

原创 [2015] [Double DQN] [Deep Reinforcement Learning with Double Q-learning]

2015年，Double DQN将Double Q-learning引入深度强化学习，解决DQN中因单网络导致的Q值过高估计问题。通过分离动作选择（使用θ）与价值评估（使用θ′），实现更稳定的训练。虽未完全复现Double Q-learning，但为后续TD3等算法奠定基础，其思想推动了深度Q学习的进一步优化。

2026-10-09 17:32:21 15

原创 [2026] [SafeDojo] [SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model]

SafeDojo：首个基于模型的SafeRL框架，通过交互式视频世界模型实现安全强化学习。其核心在于利用高维视觉观察预测未来轨迹，结合任务进展（ResNet分类器）与安全成本（轻量级安全头）双路评估，并通过拉格朗日约束优化（GRPO）平衡任务成功与安全性。相比显式定义安全约束的方法，该框架从视觉中隐式学习安全代价，支持在想象中提前规避风险，显著提升VLA在真实环境中的安全性与可靠性。

2026-10-08 18:20:59 196

原创 [2024] [GRPO] [DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models]

GRPO通过去除价值函数，以组内奖励均值为基线，实现无需价值模型的强化学习优化。相比PPO依赖GAE与价值函数，GRPO在稀疏奖励场景下更稳定，且通过过程监督缓解长序列偏好问题。尽管存在标注困难与数据稀疏挑战，其在开放式任务中表现优异，结合Rubric RL与DPO可进一步提升模型性能，推动数学推理等复杂任务的发展。

2026-10-08 18:12:27 12

原创 [2025] [SafeVLA] [Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning]

SafeVLA提出一种基于约束马尔可夫决策过程（CMDP）的综合安全框架ISA，通过系统化建模安全需求、主动挖掘危险场景、融合安全约束于策略学习，并严格验证安全性，实现视觉-语言-动作模型的安全对齐。采用拉格朗日优化与交替更新机制，在RT-1、Octo等VLA模型上实现任务性能与安全性的平衡，依托Open X-Embodiment数据集与安全强化学习技术，推动智能体在复杂环境中的可靠部署。

2026-10-07 19:13:05 151

原创 [2023] [Safe RLHF] [Safe RLHF: Safe Reinforcement Learning from Human Feedback]

Safe RLHF 提出一种解耦标注的强化学习框架，通过拉格朗日方法优化安全约束下的奖励模型。利用人类偏好数据训练奖励与代价模型，将安全性建模为可学习的主观成本，并引入超参 $d$ 控制有害输出概率。采用交替优化策略更新策略参数 $\theta$ 与拉格朗日乘子 $\lambda$，实现安全与效用的平衡。评估依赖统一训练的成本模型，区别于CPO的客观成本，凸显其对主观安全性的建模能力。

2026-10-06 17:42:05 23

原创 [2017] [Shielding] [Safe Reinforcement Learning via Shielding]

《Safe Reinforcement Learning via Shielding》（2017）开创性地提出基于时序逻辑自动合成的屏蔽机制，为RL智能体提供贯穿训练与执行的可证明硬性安全保证。通过构建安全博弈与乘积自动机，该方法在运行时拦截危险动作，实现“运行时干预”的形式化安全路径。其核心贡献包括：可验证的安全性、学习收敛性保持、以及启发后续概率屏蔽、部分可观测屏蔽与MPC融合等研究。支持预判式（Preemptive）与事后纠正式（Post-posed）两种实现方式，虽受限于离散动作空间，但奠定了安全强

2026-10-05 11:46:57 16

原创 [2017] [CPO] [Constrained Policy Optimization]

Constrained Policy Optimization (CPO, 2017) 是安全强化学习的奠基性工作，首次将理论保障的安全约束系统性融入深度RL。它将问题形式化为约束马尔可夫决策过程（CMDP），通过信赖域方法在每次更新中求解带约束的优化问题，确保策略改进的安全性与有效性。基于性能差异的紧界分析，CPO利用总变差与KL散度关系，推导出可计算的线性成本约束与二次信任域约束，结合回溯线搜索保证可行性。其算法框架为后续大量安全RL方法提供了理论基础与实现范式，成为该领域最核心的基线之一。

2026-10-01 11:55:23 26

原创 [2020] [Offline RL] [Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Pro]

本文系统综述离线强化学习（Offline RL），即仅基于静态数据集训练策略，无需在线交互。针对其核心挑战——分布偏移与探索缺失，文章梳理了基于重要性采样、动态规划与模型构建的主流方法，并探讨了策略约束（如KL散度、MMD）、不确定性估计及保守价值函数等关键技术。同时，结合机器人、医疗与自动驾驶等应用场景，指出现有方法在多模态行为建模与泛化能力上的开放问题，为未来研究提供方向。

2026-09-27 19:18:47 6

原创 [2017] [AlphaGo Zero] [Mastering the game of Go without human knowledge]

AlphaGo Zero于2017年实现无需人类棋谱的自我学习，通过纯强化学习在自我对弈中迭代优化。其核心为端到端神经网络联合策略与价值评估，摒弃了传统Rollouts，直接以模型输出替代蒙特卡洛模拟。训练目标结合终局结果z与策略π，利用MCTS进行选择、扩展与反向传播，其中动作选择基于访问次数加温度参数的softmax分布。该方法显著提升性能，标志着AI在围棋领域完全自主学习的新里程碑。

2026-09-27 19:00:56 14

原创 [2026] [π0.7] [π0.7 : a Steerable Generalist Robotic Foundation Model with Emergent Capabilities]

π0.7 是一种可调控的通用机器人基础模型，基于Flow Matching实现多模态动作生成，通过多样化条件输入（文本、子目标图像、元数据等）与随机丢弃训练策略，增强泛化能力。利用历史视觉编码与块因果掩码结构，结合次优数据蒸馏，提升鲁棒性。推理时支持类别引导（CFG），实现速度、质量与准确性的可控调节，展现出跨具身与组合式泛化能力。

2026-09-09 19:25:09 156

原创 [2025] [RECAP] [$π^∗_{0.6}$: a VLA That Learns From Experience]

π0.6是一种基于经验学习的大型VLA机器人操控策略，采用RECAP算法将离线强化学习应用于预训练模型，通过分箱价值网络与优势条件策略提取，结合离散动作预测和Flow Matching连续动作生成，在混合新旧数据迭代中提升多任务操控性能，兼顾数据效率和训练稳定性。

2026-09-03 18:48:16 20

原创 [2025] [π0.5] [π0.5 : a Vision-Language-Action Model with Open-World Generalization]

将 VLA 模型和动作解码机制（ π0 中使用的 Flow Matching、Rdt-1b、Dexvla、Hybridvla 等模型使用的 diffusion）及高级 action tokenization 机制（FAST）结合起来，便能解决更广泛的现实世界操作任务。首次展示了一种基于端到端学习的机器人系统，该系统能够在全新的家庭环境中执行长时程且灵巧的操作任务，例如清理厨房或卧室。两阶段: （SayCan 使用了两个模型，而 π0.5 使用的是一个端到端模型）预测目标：action chunk。

2026-08-28 17:44:06 230

原创 [2024] [π0] [π0: A Vision-Language-Action Flow Model for General Robot Control]

训练目标是得到一个去噪器：学会了如何将任何噪声动作块"拉回"到真实动作流形上。中将动作离散化为 256 个离散 token。直接输出连续动作，避免离散化。

2026-08-28 17:26:42 192

原创 [2022] [Flow Matching] [Flow Matching for Generative Modeling]

Continuous Normalizing Flow (CNF): 将简单的先验概率密度 p_0 （噪声）重塑为复杂的概率密度 p_1, 通过一个 push-forward 公式。Flow: φ(t, x) 是一个微分同胚映射(diffeomorphic map), 用于把 x 所在的先验分布（如高斯噪声）映射到时间 t 的分布。到 x 的体积缩放比例的倒数，因为体积变大，密度等比例缩小，反之亦然。欧拉视角：关注固定空间点上的场量（如速度、密度）随时间的变化。拉格朗日视角：关注单个粒子随时间的运动轨迹。

2026-08-28 17:23:08 277

原创 [2018] [QT-Opt] [QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation]

本文提出QT-Opt方法，一种基于深度强化学习的视觉抓取框架。该方法采用闭环控制策略，通过自监督方式从单目视觉输入学习连续动作空间的操作技能。核心技术包括：1) 结合Q-learning与交叉熵方法(CEM)处理连续动作优化；2) 创新性双目标网络架构提升稳定性；3) 大规模异步训练系统实现高效学习。实验表明，该方法无需人工设计奖励函数，在未知物体上达到96%的成功率，并能自主习得重抓取等复杂操作策略。相比传统DDPG等方法，QT-Opt通过避免显式策略网络训练，显著提高了算法的鲁棒性和泛化能力。

2026-07-16 12:05:21 19

原创 [2014] [DPG] [Deterministic Policy Gradient Algorithms]

本文介绍了确定性策略梯度算法（DPG），突破了传统认为策略梯度方法无法用于确定性策略的限制。通过链式法则将策略梯度分解为Q函数对动作的梯度乘以策略对参数的梯度，DPG实现了确定性策略的梯度计算。相比随机策略梯度，DPG具有形式简单、支持离策略学习等优势。文章推导了随机与确定性策略梯度的数学表达式，并证明当方差趋近0时，前者会收敛到后者。同时提出了离策略确定性Actor-Critic算法框架，通过移除重要性采样简化了更新过程。实验表明，在高维任务上确定性策略梯度优于随机策略梯度。该工作为确定性策略学习提供了理

2026-07-10 19:10:24 27

原创 [2012] [OffPAC] [Off-Policy Actor-Critic]

本文提出一种Off-Policy Actor-Critic算法，通过结合策略梯度与梯度TD方法解决传统AC算法的局限性。针对确定性目标策略、大动作空间和策略不稳定等问题，采用Natural Actor-Critic框架推导出策略梯度（Actor）和值函数（Critic）的更新规则。其中Actor更新使用重要性采样比率ρ处理off-policy数据，Critic部分基于GTD(λ)算法保证off-policy学习的稳定性。算法通过资格迹机制传播时序差分误差，并引入修正项防止TD学习发散，实现了在off-pol

2026-07-10 19:06:52 25

空空如也

空空如也