解读Stable Video Diffusion：详细解读视频生成任务中的数据清理技术

Diffusion Models视频生成-博客汇总

前言：Stable Video Diffusion已经开源一周多了，技术报告《Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets》对数据清洗的部分描述非常详细，虽然没有开源源代码，但是博主正在尝试复现其中的操作。这篇博客先梳理一下Stable Video Diffusion的数据清洗部分。

原始收集数据集的缺点

(1)生成视频模型对运动不一致很敏感，例如剪切通常许多包含在原始和未处理的视频数据中。

(2) 字幕影响。理想情况下每个视频有对应的多个字幕。

级联剪辑

用了三个切割器以不同的帧速率和不同的阈值运行，以检测突然的变化和缓慢的变化，例如褪色。