【CVPR2025】神经运动模拟器：在强化学习中突破世界模型的极限

数据派THU

于 2025-04-27 17:05:05 发布

阅读量1

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247656300&idx=3&sn=39f92ecb1dcfda6baed09e2facf9fc7b&chksm=e8cded8ce6c11137da7bf2c6b7417b1f2d9f292f45891bdbece52c7415bf7f57aa6be24348b8&scene=126&sessionid=0

版权

来源：专知
本文约1000字，建议阅读5分钟
我们提出了神经运动模拟器 (MoSim)，这是一种基于当前观测和动作预测具身系统未来物理状态的世界模型。

具身系统不仅要模拟外部世界的模式，还需理解自身的运动动态。运动动态模型对于高效的技能习得和有效的规划至关重要。在本工作中，我们提出了神经运动模拟器 (MoSim)，这是一种基于当前观测和动作预测具身系统未来物理状态的世界模型。MoSim 在物理状态预测方面达到了最先进的性能，并在多项下游任务中展现出竞争力的表现。该研究表明，当世界模型足够精确并能进行精确的长远预测时，它不仅能促进在想象世界中的高效技能习得，甚至可实现零样本强化学习。此外，MoSim 能将任何无模型强化学习（RL）算法转化为基于模型的方法，从而有效地将物理环境建模与 RL 算法开发解耦。这种分离使得 RL 算法与世界模型各自可以独立进步，从而显著提高样本利用效率和增强泛化能力。我们的研究表明，专注于运动动态的世界模型为开发更通用、更强大的具身系统指明了一个有前途的方向。