PhysDreamer：通过视频生成与 3D 对象进行基于物理的交互

           

PhysDreamer，一种基于物理学的方法，通过利用视频生成模型学习到的物体动力学先验，赋予静态3D物体交互动力学。

与无条件或文本条件的动力学生成不同，行为条件的动力学需要感知物体的物理材料属性，并基于这些属性对3D运动进行预测，如物体的刚度。

然而，由于缺乏物质真实数据，估计物理材料属性是一个难题，因为对真实物体进行这些属性的测量非常困难。

PhysDreamer通过提炼这些先验知识，使得物体能够对新的交互，如外部力或代理人操作，产生逼真的响应。

我们通过对弹性物体的多个示例进行演示，并通过用户研究评估合成交互的逼真程度。

PhysDreamer使得静态3D物体能够以物理可信的方式对交互刺激做出动态响应，从而实现更加引人入胜和逼真的虚拟体验。

https://physdreamer.github.io/

申请试用名额