51-28 Sora 文生视频背后的核心技术

2024年2月16日，OpenAI发布Sora文生视频模型，一石激起千层浪，迅速刷屏爆火于整个AI圈。一方面，Sora从文本、图像迈向视频大模型，这可以说是通向通用人工智能的里程碑事件；另一方面，训练和推理需求从文本、图像又增加一个视频维度，将拉动AI芯片、AI应用雨后春笋般的持续增长。

本文尝试在这里探讨、解读Sora背后的技术。下图是Sora算法脉络图，咱们沿着这张图介绍。

Sora概述

视频内容

• 最大支持60秒高保真视频生成，支持短视频前后扩展。即可保持视频连续，并扩展时长。
• 支持基于视频编辑 、文本视频编辑和语言提示编辑，彻底改变视频创作方式。
• 支持单视频多角度镜头，不同视角间流畅切换镜头，超强的前后一致性。

算法工程

• 将视频压缩为空间时间块Spacetime patches࿰