drxxxxxxx的博客

原创 NeurIPS 2024 | DACER: 扩散模型与在线强化学习强强联合创造 新SOTA!

相比于DSAC,我们的方法学习到了更优的策略表示,这主要得益于采用扩散模型来参数化策略,而非传统的MLP。受到Kaiming He[3]启发,扩散模型的表示能力主要来源于反向扩散过程而非正向, 因此我们将扩散模型的反向过程重新概念化为一种新的策略近似函数,利用其强大的表示能力来提升RL算法的性能。为展示DACER的多模态能力,我们选择了五个需要多模态策略的点:(0.5, 0.5)、(0.5, -0.5)、(-0.5, -0.5)、(-0.5, 0.5)和(0, 0)。熵调节机制是解锁探索潜能的关键。