Meta Movie Gen，赶超Sora，AI视频开启300亿参数的沉浸式叙事时代

Meta Movie Gen是Meta公司推出的一个基于人工智能的视频和音频生成模型，它利用了Transformer架构和大规模参数化模型（包括一个30B参数的视频模型和一个13B参数的音频模型）。它能够通过文本描述生成视频，编辑现有视频，以及将个人图像转化为视频。它结合了图像、视频和音频等模态，使用户能够通过简单的文本输入来创作视频内容。

功能特色：

1. 文本生成视频：用户只需输入文本描述，Movie Gen就能生成长达16秒的视频。
2. 个性化视频生成：用户可以上传图片，生成包含特定人物的个性化视频。
3. 用文本编辑视频：该工具允许用户通过文本指令精确编辑现有视频，包括风格、过渡效果和细节调整。
4. 创建音效和音轨：Meta Movie Gen 利用视频和文本输入生成音频，支持音效、背景音乐和完整音轨的创作与扩展。能够生成与视频同步的高质量音效和配乐，支持最长45秒的音频生成。

下面的视频中可以看到话画面和音频的同步

Text input: Rain pours against the cliff and the person, with music playing in the background.

技术原理：

• Movie Gen基于Transformer架构开发而成，专门优化了文本到图像和文本到视频的生成。
• 它使用了一个30B参数的视频模型和一个13B参数的音频模型，能够生成高质量的高清视频，最长可达16秒，以及长达45秒的高质量音频。
• 模型预训练阶段使用了大量的图像和视频数据，能够理解视觉世界的各种概念，包括物体运动、交互、几何、相机运动和物理规律。
• 为了提高视频生成的质量，模型还进行了监督微调，使用了一小部分精心挑选的高质量视频和文本标题 。

 视频请到原文观看：

Text input: A beautiful orchestral piece that evokes a sense of wonder.

项目地址：

产品官网：

论文：

如何使用：

Movie Gen目前仅对公司内部员工及少数外部合作伙伴开放，包括部分电影制作人。Meta计划在未来将Movie Gen整合进其现有应用中。具体的使用方法包括输入文本描述生成视频、上传图像制作个性化视频、根据指令修改视频内容等。

性能优势：

在人工评测中，Movie Gen的视频生成能力相较于业内类似模型Sora显示出更高的净胜率，达到8.2。

训练数据：

Meta公司声明，Movie Gen是基于授权和公开可用的数据集进行训练的，但未透露具体的数据细节。

发布计划：

尽管Meta公司尚未明确Movie Gen的发布时间，但扎克伯格表示，预计明年将在Instagram上线。

适用场景：

1. 社交媒体内容创作：用户可以在社交平台上分享由Movie Gen生成的个性化视频，增加互动和吸引力。
2. 广告和营销：企业可以使用Movie Gen创建吸引人的广告视频，通过个性化内容吸引潜在客户。
3. 电影和视频制作：电影制作人和视频编辑可以使用Movie Gen来生成或编辑视频片段，提高制作效率。
4. 个人娱乐：用户可以为自己或朋友制作有趣的视频，用于个人娱乐或特殊场合的礼物。
5. 虚拟角色和动画：通过上传图片，可以生成包含特定人物的个性化视频，适用于虚拟角色和动画制作。
6. 音乐视频制作：音乐家和艺术家可以利用Movie Gen生成与音乐同步的视频，为音乐视频添加视觉元素。

总结：

Meta Movie Gen是一个强大的视频和音频生成工具，它通过文本提示可以生成高质量的视频内容，并提供个性化和精确的视频编辑功能。尽管目前还未对公众开放，但Meta计划在未来将其整合进旗下应用，如Instagram，这将为视频创作带来革命性的变化。