CVPR2024最佳论文解读 |Generative Image Dynamics生成图像动力学/Rich Human Feedback for Text-to-Image Generation

1.论文标题： Generative Image Dynamics

论文作者：

Zhengqi Li, Richard Tucker, Noah Snavely, Aleksander Holynski (Google Research)

论文链接：

https://arxiv.org/pdf/2309.07906

内容简介：

提出了一种创新方法，用于从单张RGB图像中生成自然振荡动态，如树木、花朵和衣物随风摆动。研究者们通过学习真实视频序列中提取的运动轨迹，在傅里叶域中建立一个称为“光谱体积”的密集、长期运动表示。利用这一表示，结合扩散模型，可以从单张图像预测出整个视频的运动纹理，进而通过图像基础渲染技术生成动画。该方法不仅能创建无缝循环视频，还能实现用户与真实图像中对象的交互式动态模拟，显著提升了从静态图像生成动态内容的逼真度和应用范围。

方法论：

作者提出了一种基于图像空间先验的场景运动建模方法。

该先验从真实视频序列中提取的运动轨迹中学习得到，并在傅里叶域中将长期运动建模为光谱体积（spectral volumes），这种表示方法适合于扩散模型进行预测。给定单张图像，训练好的模型使用频率协调的扩散采样过程来预测光谱体积，然后可以将其转换为跨越整个视频的运动纹理。

光谱体积：光谱体积是一种运动表示方法，它将每个像素的运动轨迹表示为频域中的复数傅里叶系数。这种方法对于表现出振荡动态的场景非常适用，如风中的树木和花朵。作者发现，这种表示方法也非常适合作为扩散模型