1.训练一个 sora 模型的准备工作,video caption 和算力评估
2.Sora原理与技术实践
3.训练 Sora 模型
3.1在 Sora 的技术报告中,Sora 使用视频压缩网络将各种大小的视频压缩为潜在空
间中的时空 patches sequence,然后使用 Diffusion Transformer 进行去噪,最
后解码生成视频。
3.2Open-Sora 在下图中总结了 Sora 可能使用的训练流程。
图片来源:[https://hpc-ai.com/blog/open-sora](https://hpc-ai.com/blog/open-sora)
3.3训练链路:
4.lite-sora复现
5.Stable Video Diffusion(SVD)复现
6.资源紧张后续更新复现结果。