[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)

sudo -H pip install --upgrade youtube-dl -i https://pypi.doubanio.com/simple/

一、概况

        OpenAI 的 Sora 在生成一分钟高质量视频方面非常出色。然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。本报告描述了colossal-ai首次尝试训练基于 Transformer 的视频扩散模型。

选择架构的效率

        为了降低计算成本，我们希望利用现有的 VAE 模型。Sora 使用时空 VAE 来减少时间维度。然而我们发现目前还没有开源的高质量时空VAE模型。MAGVIT的 4x4x4 VAE 不是开源的，而