22年11月,Berkeley 和MIT联合发布Planning with Diffusion for Flexible Behavior Synthesis,作者在文中把轨迹扩散概率模型称为Diffuser。
Diffusion Model 具有更强的建模复杂分布的能力,能够更好地建模表征数据的各种特性,但是决策类问题除了需要处理表征建模的挑战,更注重于学习智能体策略的有效性和多样性。一种可行的思路是选择模仿学习方法,使用扩散模型来更好地“模仿”,“拟合”专家策略的数据分布:另一种思路就是选择强化学习,但强化学习方法和训练流程的复杂性和不稳定性很大程度上制约了扩散模型的使用。
图 1:经典强化学习分类
早期无论是基于价值、基于策略还是基于模型的强化学习,都是将每一条轨迹分割成数个动作—状态对片段,并将每一个片段作为一个独立的样本点(datapoint)进行后续训练。与之相反,本文作者换个角度来看待这个数据集中的轨迹,即把每条轨迹视为一个样本点,从而将研究目标转变为建模全部轨迹的分布,而将轨迹的最优性作为条件变量从分布中采样轨迹。这样可以很好地利用 Diffusion Model 建模决策轨迹分布。
Abstract
基于模型的强化学习方法通常使用学习来估计近似动力学模型,将其余的决策工作交给经典的轨迹优化器。虽然在概念上很简单,但这种组合有许多经验上的缺点,这表明学习