obfish1234的博客

转载 ⭐ 扩散模型与在线强化学习强强联合 ⭐ Diffusion Actor-Critic with Entropy Regulator (NeurIPS 2024)

然而，在大多数传统的强化学习算法中，策略通常被参数化为可学习的高斯分布，这限制了它们表达复杂策略的能力。该算法将扩散模型的反向过程作为一种新的策略函数，利用其具有拟合多模态分布的能力，从而增强了策略的表达能力。使用估计得到的策略熵，我们学习一个参数来调节探索和利用的程度。在MuJoCo机器人控制任务和多模态任务上进行的实验证明，DACER都达到了SOTA的性能。此外，在状态最为复杂的Humanoid-v3和Ant-v3任务中，DACER的收敛性能分别达到了13209和11470。