超级会员免费看
本文介绍了Diffuser，一种用于轨迹规划的扩散概率模型，能够生成柔性行为。Diffuser通过非自回归预测整个轨迹，利用强化学习作为引导采样和目标条件推理，适用于长序列决策问题。实验表明，Diffuser在长时规划、任务组合性和测试时间灵活性方面表现出优势，尤其是在多任务设置和稀疏奖励环境中。
22年11月，Berkeley 和MIT联合发布Planning with Diffusion for Flexible Behavior Synthesis，作者在文中把轨迹扩散概率模型称为Diffuser。
Diffusion Model 具有更强的建模复杂分布的能力，能够更好地建模表征数据的各种特性，但是决策类问题除了需要处理表征建模的挑战，更注重于学习智能体策略的有效性和多样性。一种可行的思路是选择模仿学习方法，使用扩散模型来更好地“模仿”，“拟合”专家策略的数据分布：另一种思路就是选择强化学习，但强化学习方法和训练流程的复杂性和不稳定性很大程度上制约了扩散模型的使用。
图 1：经典强化学习分类
早期无论是基于价值、基于策略还是基于模型的强化学习，都是将每一条轨迹分割成数个动作—状态对片段，并将每一个片段作为一个独立的样本点（datapoint）进行后续训练。与之相反，本文作者换个角度来看待这个数据集中的轨迹，即把每条轨迹视为一个样本点，从而将研究目标转变为建
订阅专栏 解锁全文
扫一扫
1152
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
