超级会员免费看
本文深入解读上海人工智能实验室推出的视频生成模型Latte，它基于Diffusion Transformer，模仿Sora原理。文章详述了模型的backbone、预训练策略、patch embedding方法、Timestep-class信息注入及Temporal positional embedding等关键点，提供了丰富的实验对比和分析。
前言：OpenAI的视频生成模型Sora一经发布就广受全世界的瞩目，上海人工智能实验室最近推出了一个基于Diffusion Transformer的结构的模型Latte，堪称最接近Sora原理的视频生成模型。这篇博客就详细解读Latte，并从中窥探Sora的神秘面纱。
目录
patch embedding方法：uniform frame patch embedding和compression frame patch embedding
贡献概述
论文提出了一种基于Transformer的视频扩散模型结构Latte。Latte首先从输入视频中提取时空标记，然后采用一系列Transformer块对潜在空间中的视频分布进行建模。为了对从视频中
订阅专栏 解锁全文
1296
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
