文生视频领域SOTA工作Make-A-Video：论文解读和代码赏析

最新推荐文章于 2025-04-24 15:16:35 发布
最新推荐文章于 2025-04-24 15:16:35 发布
阅读量960 收藏 9
点赞数 7
分类专栏： Diffusion Models与深度学习 文章标签： 人工智能 视频生成 扩散模型 stable diffusion 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/133579715
版权
Make-A-Video是Meta AI的文生视频SOTA工作，该模型通过扩展预训练的text-to-image模型，实现无需配对文本-视频数据的video生成。论文提出伪三维卷积层和伪三维注意力层，降低训练门槛并取得优秀效果。本文详述其结构、方法，并解读相关代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Diffusion Models专栏文章汇总：入门与实战

前言：2022年年底Meta AI提出了Make-A-Video，一年过去了依旧是文生视频领域的SOTA工作，在主流数据集上依旧保持着最先进的指标。论文利用了预训练的Text-to-Image模型扩展到Text-to-Video任务，大大降低了视频生成的门槛；论文中提出的伪三维卷积层和伪三维注意力层也被后来的研究广泛借鉴。这篇博客详细解读Make-A-Video的论文和源代码，并给出一些博主的思考和见解。

目录

贡献概述

方法详解

整体结构

第一部分：预训练的text-to-image模型

第二部分：伪三维卷积层和伪三维注意力层

伪三维卷积层

伪三维注意力层

帧率条件输入

第三部分：帧插值网络

论文和代码

代码解读

伪三维卷积层

伪三维注意力层

伪三维Unet

个人感悟

贡献概述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 4533
Diffusion Models视频生成-博客汇总
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
【论文精读】MAKE-A-VIDEO:TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA
m0_60634555的博客
03-23 1550
1.学习这个世界看起来是什么样的符合文本-图像对的描述2.学习这个世界是如何运动的无监督视频序列make video的三个好处:①加速了训练过程，不需要从头开始训练视觉或多模态的表示.②不要求成对的文本-视频数据③继承了图像生成模型的vastness(广度)基于T2I，使用一个新的时间空间模块，实现T2V。1、首先，解码了U-NET和attention tensors。2、第二，设计了时空的pipeline去生成一个高帧率高分辨率的视频。
文本生成视频Make-A-Video，根据一句话就能一键生成视频 Meta新AI模型
热门推荐
白洞，白色的明天在等着我们
10-04 7万+
Meta公司在9月29日首次推出一款人工智能系统模型：Make-A-Video，可以从给定的文字提示生成短视频。基于**文本到图像生成技术的最新进展**，该技术旨在实现文本到视频的生成，可以仅用几个单词或几行文本生成异想天开、独一无二的视频，将无限的想象力带入生活
OpenAI Sora —— 文生视频为何如此逼真？AI算法架构解析
初心不忘产学研的博客
02-19 3251
OpenAI于2024年2月16日发布了名为Sora的文生视频模型。Sora是一个革命性的视频生成模型，可以根据用户输入的简单文本脚本自动生成与好莱坞级别画面相媲美的视频内容，其生成的视频不仅仅是对已有素材的拼接或剪辑合成，而是从像素级别全新“绘制”出来的。该模型能够理解文本描述并基于此创造性地生成视频，展现出令人惊叹的细节处理能力，例如在示例中描述的“两只战船在一杯咖啡里混战”的场景中，Sora成功地模拟了液体、浮沫、水流和浪花等效果，并且细致到可以为船只添加海盗旗和国旗以表达故事中的正邪对抗元素。
2024年AIGC趋势展望：视频生成的“百模大战”
沉迷单车的追风少年
01-10 1900
可控视频生成的应用场景将远远多于可控图片生成，直观上感觉受到冲击最大的是短视频公司，比如最近爆火的生成小姐姐跳舞视频（通义千问-全民舞王），效果距离真人实拍差距已经不大了。2023年工业场景下落地最多应该是可控图像生成了，不少大厂专门成立了专门的智能创作部门，比较成功的有电商图创作、海报创作、家装图生成、用户发帖辅助创作、证件照生成、图片美化等，背后的技术大部分是lora/dreambooth/controlnet等，最核心护城河还是用于finetune的高质量数据。
文生视频领域SOTA工作 Show-1：论文和代码解读
沉迷单车的追风少年
10-26 526
最近的text-to-video的论文Show-1在MSR-VTT测评数据集上取得了FVD和CLIPSIM指标上的第一名，FID指标上的第二名。采用混合模型的方法，结合了基于像素的VDM和基于潜在空间的VDM进行文本到视频的生成，不仅能取得很高的生成指标，还能大大降低推理资源消耗。这篇博客详细解读一下这篇论文和代码。
Direct-a-Video：用户导向的定制化视频生成技术
人工智能前沿分享
08-10 2069
人工智能咨询培训老师叶梓 欢迎转载标明出处传统的文本到图像（Text-to-Image, T2I）扩散模型在图像生成和编辑方面展现出了惊人的质量和多样性。随着技术的发展，文本到视频（T2V）扩散模型应运而生，它们通常通过在预训练的T2I模型基础上增加时间层来实现视频的生成和编辑。然而，现有方法在支持用户定义的摄像机运动和对象运动控制方面存在不足，限制了视频运动控制的灵活性。
【文生视频】InternVid: A Large-scale Video-Text Dataset forMultimodal Understanding and Generation
一只大憨憨的博客
04-25 1728
我们的核心贡献是开发一种可扩展的方法，用大型语言模型（LLM）自主构建高质量的视频文本数据集，提供视频文本表示学习模型ViCLIP。目前的研究依赖于HowTo100M[2]、HD-VILA[3]和YTTemporal[4，5]等数据集，这些数据集的文本是使用自动语音识别（ASR）生成的。尽管规模很大，但这些数据集在视频和相应的文本描述之间的语义相关性往往很低[2-5]。实证研究表明，改善这种相关性（例如，将视频与字幕对齐以提高其匹配性）显著有利于视频检索和视频问答等下游任务[6]。文本视频对齐非常重要。We
WT2000T专业录音芯片：破解普通录音设备信息留存、合规安全与远程协作三大难题
Waytronic_的博客
04-23 741
在快节奏的现代商业环境中，会议是企业决策、创意碰撞和战略部署的核心场景。然而，传统会议记录方式常面临效率低、信息遗漏、回溯困难等痛点。如何确保会议内容被精准记录并高效利用？会议室专用录音芯片应运而生，以智能化、高保真、安全便捷的特性，成为企业高效办公的“隐形助手”。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 1329
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
LibrePhotos本地部署打造个人云相册安全存储和分享家庭照片(1)
最新发布
YYDsis的博客
04-24 967
手机里塞满了珍贵回忆，却担心一不小心就被偷看？别怕，今天我就教你一个绝招——使用自建私有云相册。这不仅比Google Photos更安全可控，还无需公网IP或域名，因为咱们有cpolar这个神器来帮忙打通内网壁垒！跟着我一起，让你的照片管理从此变得既酷又安全吧！
视频汇聚平台智能边缘分析一体机视频智能分析平台智能分析区域入侵检测算法
LntonCEC的博客
04-22 543
这种设备的广泛应用不仅能够提高安全防范的效率和准确性，还能够为各类场所的安全管理提供强大的支持和帮助，从而为社会的稳定和发展做出了积极的贡献。这种设备通过集成图像处理、智能识别和实时监测等先进技术，能够对特定区域内的入侵行为进行有效的监控和识别，从而及时地发现潜在的安全风险并采取适当的应对措施。智能边缘分析一体机的区域入侵检测功能能够提高安全监控系统的警戒性和反应速度，有效减少安全风险和事件发生的可能性，为各类场所（如公共场所、企业园区、仓库等）的安全管理带来极大的便利和帮助。
LabVIEW圆锥滚子视觉检测系统
bjcyck的博客
04-24 438
软件方面，采用LabVIEW和Vision Development Module进行图像处理和分析，软件架构设计以模块化为原则，便于后续的维护和升级。通过高效的硬件选型和优化的软件算法，系统能够快速准确地完成图像的采集、处理和分析。本视觉检测系统不仅提高了生产效率，还通过自动化检测显著提升了产品的一致性和质量。未来，该系统还可以根据具体的生产需求进行调整和优化，以适应更多的生产环境。通过集成高分辨率摄像头和先进的图像处理算法，系统能够自动识别和分类产品缺陷，从而减少人工检查需求，提高检测的准确性和速度。
软件专利申请：审查意见是“拦路虎“还是“磨刀石“？
wdip15的博客
04-22 605
根据统计，超过85%的专利申请都会经历至少一次审查意见。这不一定是坏事——经过修改的专利，授权后更经得起无效宣告的挑战。就像璞玉需要雕琢，好的专利也是"磨"出来的。下次收到审查意见时，不妨泡杯茶，仔细看看审查员的"批注"。也许你会发现，这恰恰是让技术方案更严谨的好机会。毕竟，专利申请不是"一锤子买卖"，而是场需要智慧的持久战。申请过软件专利的朋友常问："是不是每次申请都会收到一两次审查意见？"作为过来人，今天咱们就用大白话聊聊这个事儿。
盈达科技GEO解决方案：破解AI时代品牌增长困局
欢迎关注！盈达科技博客专注分享生成式引擎优化（GEO）核心技术，解析AI内容生成与搜索引擎协同优化的前沿方法论。
04-22 833
盈达科技GEO解决方案：破解AI时代品牌增长困局 ——全域优化策略助力企业抢占生成式AI流量高地
职坐标IT培训提升计算机专业就业竞争力
haitongzzb的博客
04-23 789
职坐标IT培训聚焦计算机专业核心技能提升，通过人工智能、大数据等前沿技术实战教学，结合名企合作项目实训，助力学员掌握行业紧缺技术。专业就业指导+职业规划，帮助计算机专业学生突破技术瓶颈，应对行业变革，斩获高薪offer，实现从校园到名企的无缝衔接。
百度热力图数据获取，原理，处理及论文应用18
GGG信的博客
04-21 553
数据来源：百度慧眼数据形式：含坐标的csv点数据；shp数据（含csv点数据）；TIF栅格数据（含csv，shp数据）；PNG可视化图片。多种数据形式可选。价格：市为单位，每天有24个时间点。也可提供shp格式，核密度/反距离tif格式，数据格式不同价格不同。直接选TIF的好处：不用手动从csv转shp，不用考虑投影带，不用手动核密度，我可以确保数据一定符合你的研究，会跟你确定栅格大小和研究区，根据研究区裁剪数据。用途：城市/街道活力，人口统计，选址分析，商圈分析，活力分析等等。优势：全网最全最细！
《Dialogflow零基础入门教程》4 实践案例1-- 搭建简单聊天机器人
qq_41611586的博客
04-21 868
意图相当于用户向机器人提出的请求或问题，Dialogflow 通过识别用户输入的话来判断用户的目的是什么。“今天北京天气怎么样？“明天上海会下雨吗？这些句子的“意图”都是“查询天气”。实体是用户输入中关键的信息或参数。例如在“今天北京天气如何？”这句话里，“北京”就是实体，它代表用户要查询天气的地点。Dialogflow可以自动识别一些常用实体（如日期、城市等），也可以定义自己的实体。Dialogflow 提供了一个内置的模拟器工具，方便我们随时测试对话效果。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值