Meta抢先发布Movie Gen：AI视频生成迈向全新高度，超越Sora引领视频编辑革命

最新推荐文章于 2024-10-08 20:09:33 发布

置顶南阳

最新推荐文章于 2024-10-08 20:09:33 发布

阅读量551

点赞数 18

分类专栏：科技资讯文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_72847531/article/details/142713358

版权

科技资讯专栏收录该内容

19 篇文章 0 订阅

订阅专栏

Meta最近抢在OpenAI之前推出了自己的视频生成模型“Meta Movie Gen”，这款模型功能强大，几乎涵盖了OpenAI的Sora模型所拥有的一切。它能够生成不同宽高比的高清长视频，支持1080p、16秒的视频，每秒16帧的生成速度。然而，Meta Movie Gen不仅仅是对Sora功能的复制，它在功能上还有所超越。例如，Meta Movie Gen可以生成与视频完美配合的背景音乐和音效，允许用户通过文本指令来编辑视频，还可以根据用户上传的图像生成高度个性化的视频内容。

Meta称，这款模型是目前“最先进的媒体基础模型（Media Foundation Models）”。

用户只需输入一句简单的指令，例如“把灯笼变成飞向空中的泡泡”，系统就可以自动替换视频中的物体，而且生成的泡泡还能准确反射背景环境的细节。

更为个性化的是，用户可以上传自己的照片，使自己成为AI生成电影中的主角。

生成的视频不仅仅是无声的画面，还能根据内容自动生成与动作相匹配的逼真音效。比如，在滑板视频中，滑板的轮子转动、落地时的声音都能同步生成，增强了视频的真实感和沉浸感。

有专家指出，随着越来越多的创作者学会使用这些AI视频生成和编辑工具，未来的长短视频创作模式将发生深远的变化。

与Sora只提供简单的演示和官网博客介绍不同，Meta此次发布的模型在其长达92页的论文中详细公开了架构和训练细节。

Meta还特别强调了数据规模、模型大小和训练算力对大规模媒体生成模型的重要性。这些因素的系统性提升，正是实现如此强大的媒体生成系统的关键所在。

最令人瞩目的一点是，Meta在这次发布中彻底抛弃了传统的扩散模型，转而采用了Transformer作为骨干网络，使用流匹配（Flow Matching）作为训练目标。

流匹配方法相比扩散模型更加高效，在生成视频的精度和细节表现上显著提升，同时降低了计算成本。Meta的模型由两个部分组成：Movie Gen Video和Movie Gen Audio。Movie Gen Video模型是一个拥有30亿参数的Transformer模型，能够根据单个文本提示生成16秒的高清视频，每秒16帧，相当于73,000个视频标记。对于复杂的编辑任务，它可以执行元素添加、删除或替换，背景替换以及样式更改等全局修改。同时，在个性化视频生成方面，它在保持角色身份一致性和动作自然性上取得了行业领先水平。

Movie Gen Audio则是一个13亿参数的模型，可以根据输入的视频和可选的文本提示生成与视频完美同步的高保真音频。

Meta Movie Gen的训练采用了预训练-微调的模式。

在预训练阶段，它使用了海量的视频-文本和图像-文本数据集，训练规模达到O(100)M的视频和O(1)B的图像，这些数据帮助模型学习运动、场景、物理、几何以及音频等多维度的概念。在微调阶段，研究团队挑选了一部分高质量的视频进行有监督的精细调整，进一步提升生成视频的流畅度和美学品质。

为了进一步优化生成效果，Meta还引入了流匹配（Flow Matching）作为模型的训练目标。扩散模型通过逐步加入噪声再通过逆过程去除噪声生成样本，而流匹配直接学习从噪声到目标数据分布的转化速度，使得模型生成高质量视频的过程更加直接和高效。与传统的扩散模型相比，流匹配在生成的时间维度上表现出更好的连续性和一致性，并且显著降低了计算开销。

在架构设计上，Movie Gen引入了多个技术创新。首先，模型采用了时空自编码器（Temporal AutoEncoder，TAE），将像素空间的RGB图像和视频压缩到时空潜空间中，学习更加紧凑的表征方式。其次，文本提示经过一系列预训练的文本编码器编码成向量表示，作为模型的条件输入。这些编码器包括理解语义的UL2、与视觉对齐的Long-prompt MetaCLIP，以及理解视觉文本的字符级编码器ByT5。最终，模型以流匹配作为目标函数，从高斯分布采样的噪声向量作为输入，通过结合文本提示生成潜在代码（潜码），再通过TAE解码生成最终的图像或视频输出。

此外，Movie Gen Video还设计了因子化的可学习位置编码机制，使其能够适应图像和视频生成过程中的不同宽高比，并支持任意长度的视频生成。为了解决推理效率问题，Movie Gen Video采用了线性-二次时间步长调度策略，只需50步便能逼近1000步采样的效果，大幅提升了推理速度。

在长视频生成过程中，它还使用了基于时间平铺的推理方法，将视频分割为多个片段进行独立编码和解码，最后通过拼接的方式输出完整视频。为了避免片段之间的边界伪影，解码时引入了重叠区域，并通过加权平均确保生成视频在时间维度上的平滑一致。

Meta在这次发布中还提供了多个开源的基准测试数据集，例如Movie Gen Video Bench、Movie Gen Edit Bench和Movie Gen Audio Bench，这些工具为后续研究者提供了权威的评估基准，进一步推动了该领域的快速发展。这篇92页的论文详细介绍了更多架构、训练方法、数据管理、并行训练和推理优化等内容，研究人员可通过论文末尾的链接进行更深入的了解。

就在Meta发布Movie Gen不久之前，OpenAI Sora的主创之一Tim Brooks跳槽到谷歌DeepMind，继续在视频生成和世界模拟器方面开展工作。

这一事件引发了人们对AI视频生成领域的广泛讨论。有人认为，Meta的这次发布可能迫使OpenAI尽快推出Sora进行应对，而在10月1日，Pika 1.5的更新也进一步引领了AI视频编辑功能的创新，如在视频中加入物体的融化、膨胀、挤压等物理特效。AI视频生成技术的下半场竞争，正在逐渐转向更为复杂的视频编辑领域。