51-45 Diffuser，生成柔性行为的扩散轨迹规划

深圳季连AIgraphX

已于 2024-05-08 23:14:15 修改

阅读量970

点赞数 10

分类专栏： aiXpilot 智驾大模型文章标签： AIGC 自动驾驶智慧城市 stable diffusion 计算机视觉人工智能

于 2024-04-25 13:45:40 首次发布

本文链接：https://blog.csdn.net/weixin_45035094/article/details/138093335

版权

aiXpilot 智驾大模型专栏收录该内容

58 篇文章 33 订阅 ¥89.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Diffuser，一种用于轨迹规划的扩散概率模型，能够生成柔性行为。Diffuser通过非自回归预测整个轨迹，利用强化学习作为引导采样和目标条件推理，适用于长序列决策问题。实验表明，Diffuser在长时规划、任务组合性和测试时间灵活性方面表现出优势，尤其是在多任务设置和稀疏奖励环境中。

摘要由CSDN通过智能技术生成

22年11月，Berkeley 和MIT联合发布Planning with Diffusion for Flexible Behavior Synthesis，作者在文中把轨迹扩散概率模型称为Diffuser。

Diffusion Model 具有更强的建模复杂分布的能力，能够更好地建模表征数据的各种特性，但是决策类问题除了需要处理表征建模的挑战，更注重于学习智能体策略的有效性和多样性。一种可行的思路是选择模仿学习方法，使用扩散模型来更好地“模仿”，“拟合”专家策略的数据分布：另一种思路就是选择强化学习，但强化学习方法和训练流程的复杂性和不稳定性很大程度上制约了扩散模型的使用。

图 1：经典强化学习分类

早期无论是基于价值、基于策略还是基于模型的强化学习，都是将每一条轨迹分割成数个动作—状态对片段，并将每一个片段作为一个独立的样本点（datapoint）进行后续训练。与之相反，本文作者换个角度来看待这个数据集中的轨迹，即把每条轨迹视为一个样本点，从而将研究目标转变为建模全部轨迹的分布，而将轨迹的最优性作为条件变量从分布中采样轨迹。这样可以很好地利用 Diffusion Model 建模决策轨迹分布。