详细解读Movie Gen(2)：个性化视频训练

已于 2024-10-23 10:22:10 修改
阅读量1.6k 收藏 24
点赞数 36
分类专栏： Diffusion Models与深度学习 文章标签： 深度学习 人工智能
于 2024-10-22 22:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/143100831
版权

Diffusion Models专栏文章汇总：入门与实战

前言：Meta最近重磅发布了视频生成30B的基础模型Movie Gen，长达93页的技术报告中干货满满，博主将详细解读Movie Gen的核心网络结构、个性化视频微调方法、视频编辑等方面。虽然大部分人没有直接预训练30B模型的机会，但是可以从中获取很多值得借鉴的经验。

目录

个性化视频生成-方法概述

数据生产流程

数据采集

Paired Data

Cross Paired Data

合成数据

三阶段预训练流程 + finetune

拆分成三个阶段的原因

第一阶段身份注入

第二阶段训练长视频

第三阶段提高自然度

消融实验

消融实验-是否训练视觉embedding

消融实验-cross-paired data

消融实验-高质量微调

个性化视频生成-方法概述

在T2V模型的基础上，使用一个可训练的长提示 MetaCLIP 视觉编码器从蒙面人脸图像中提取身份特征࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
详细解读Movie Gen(0)：核心网络结构
沉迷单车的追风少年
10-20 527
Meta最近重磅发布了视频生成30B的基础模型Movie Gen，长达93页的技术报告中干货满满，博主将详细解读Movie Gen的核心网络结构、个性化视频微调方法、视频编辑等方面。虽然大部分人没有直接预训练30B模型的机会，但是可以从中获取很多值得借鉴的经验。
详细解读Movie Gen(1)：数据集清洗方法
沉迷单车的追风少年
10-21 638
Meta最近重磅发布了视频生成30B的基础模型Movie Gen，长达93页的技术报告中干货满满，博主将详细解读Movie Gen的核心网络结构、个性化视频微调方法、视频编辑等方面。虽然大部分人没有直接预训练30B模型的机会，但是可以从中获取很多值得借鉴的经验。
从头开始构建一个小规模的文生视频模型
2401_84033492的博客
06-30 969
生成对抗网络是一种深度学习模型，其中两个神经网络相互竞争：一个从给定的数据集创建新数据（如图像或音乐），另一个则判断数据是真实的还是虚假的。这个过程一直持续到生成的数据与原始数据无法区分。
视频生成类大模型实现原理以及应用和难点
Code1994的博客
08-30 2265
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
全面深入解读Movie Gen技术原理(5部曲)：个性化视频生成(3)
ljp1919的专栏
11-09 1108
本文介绍Movie Gen如何探讨了个性化视频生成这一重要研究领域。Movie Gen的研究员提出了一种新颖的模型架构，通过将个性化信息整合到视频生成过程中，实现了最先进的效果。以下将介绍模型结构、训练方法、评估标准以及定量结果。这项研究不仅在技术上取得了突破，还具有广泛的实际应用前景，为个性化高质量视频生成开辟了新的可能性。后续将进一步解读Movie Gen的视频精准编辑和声音生成。小窗幽记机器学习记录机器学习过程中的点点滴滴和坑坑洼洼公众号Movie Gen在个性化视频生成领域取得了显著进展。
全面深入解读Movie Gen技术原理(5部曲)：概述 (1)
ljp1919的专栏
10-07 2376
研究发现，通过扩大训练数据、计算资源和模型参数，使用Flow Matching训练的Transformer模型可以生成高质量的视频或音频。Meta据此打造Movie Gen的2种基础模型：Movie GenVideo和Movie GenAudio。Movie Gen Video和Movie Gen Audio模型参数量分别是300亿和130亿。
全面深入解读Movie Gen技术原理5部曲：4-精准视频编辑
ljp1919的专栏
12-07 1045
随着视频内容的普及，对易用、可控且精确的视频编辑工具的需求日益增长。文本引导的视频编辑模型成为热点研究方向，旨在让用户通过自然语言简单快速地编辑视频。然而，受限于有监督视频编辑数据的稀缺，高性能模型的开发面临挑战。本节介绍 Movie Gen Edit 模型及其无监督训练方法。Movie Gen Edit 的训练基于两个假设:显式训练模型进行视频编辑可显著提升性能。全面控制输入视频需要处理整个视频，而非仅处理有限特征。收集大规模视频编辑监督数据困难，导致训练-测试场景差异。
Meta视频生成论文解读
Everly_的博客
10-17 1160
一、预训练预训练数据预训练数据集由亿级视频-文本对和十亿级图像-文本对组成。采用了与 (Dai et al., 2023) 类似的图像-文本数据筛选策略，本节中专注于视频数据的筛选。最初的数据池包括4秒至2分钟长的视频，涵盖了不同领域的概念，如人类、自然、动物和物体。我们的数据筛选流程产生了最终的预训练集，每个剪辑都与一个文本提示配对，每个剪辑时长在4秒至16秒之间，采用单次拍摄相机和非平凡运动。我们的数据筛选流程如图9所示。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
AI上推荐 之 MIND(动态路由与胶囊网络的奇光异彩)
Miracle8070
03-27 7316
1. 写在前面 今天整理的是MIND模型(Multi-Interest Network with Dynamic Routing)， 这是阿里团队2019年在CIKM上发的一篇paper，该模型依然是用在召回阶段的一个模型，解决的痛点是之前在召回阶段的模型，比如双塔，上一篇介绍的YouTubeDNN召回模型等，在模拟用户兴趣的时候，总是基于用户的历史点击，最后通过pooling的方式得到一个兴趣向量，用该向量来表示用户的兴趣，但是该篇论文的作者认为，用一个向量来表示用户的广泛兴趣未免有点太过于单一，这是作者
基于LSTM-GARCH混合模型的黄金价格波动率预测：信用降级事件冲击评估
最新发布
05-19 823
本文基于多模态数据融合与因果推理框架，本文构建黄金价格驱动因子图谱，揭示主权信用评级调整、地缘风险与货币政策预期的交互作用机制。5月19日亚市收盘，现货黄金突破3245美元/盎司关键阻力位，日内波幅达1.4%，技术面呈现典型的动量突破形态，但需警惕3250美元区域的多空博弈风险。
基于深度学习的高效图像失真校正框架总结
weixin_56337944的博客
05-16 799
本文介绍了一种基于深度学习的高效图像失真校正框架，该框架采用两阶段方法进行图像校正。第一阶段使用改进的GeoNet（EffiGeoNet）进行初步校正，通过模型剪枝和知识蒸馏实现轻量化；第二阶段通过图像配准优化，消除残留失真。实验表明，该方法在PSNR和SSIM指标上分别提高了10.39%和30.42%，处理速度提升了85%。该框架适用于多种失真类型，并在医疗内窥镜等实际场景中表现出色。未来研究方向包括增强全局特征提取能力和开发无需参考图像的端到端校正网络。代码和数据已开源，便于复现和进一步研究。
YOLOv7训练时4个类别只出2个类别
qq_48873240的博客
05-16 937
在使用YOLOv7进行训练和预测时，发现模型仅能预测出两个类别（LFM和SFM），而实际应有四个类别。经过检查，特征图大小和anchors设置均与YOLOv3一致，且YOLOv3表现正常。最终发现问题可能出在detect.py中的conf-thres参数设置过高，将其从0.5调整为0.1后，问题得到解决。此外，还需注意在NMS操作时不使用classes参数，并在train.py中根据实际类别数和图片大小调整hyp['cls']和hyp['obj']的缩放比例。这些调整有助于确保模型能够正确预测所有类别。
计算机视觉与深度学习 ｜ Python实现EEMD-LSTM时间序列预测（完整源码和数据)
尘世冰封的专栏
05-17 139
EEMD-LSTM通过。
基于深度学习进行运输系统优化
weixin_69327572的博客
05-15 795
from torch.utils.data import Dataset, DataLoader # 数据加载。self.num_samples = num_samples # 样本数量。self.num_tasks = num_tasks # 任务数量。self.num_vehicles = num_vehicles # 车辆数量。# y[i][j][k]: 车辆j是否从任务i行驶到任务k（二进制变量）return self.num_samples # 返回数据集大小。
深度学习详细入门路线----以本人亲身实践得出
2303_76162328的博客
05-17 493
pytorch这个词相信很多人早就听过了 我在刚开始听到这个词的时候 一直以为是一种新的语言 知道后来学了深度学习才知道是一种框架 什么是框架 就是别人搭建好的代码块什么的 比如说你想用一个卷积 你不可能从头开始写吧 这时候框架封装了已经写好的conv 你直接一行代码调用就好 又比如数据处理时 你需要裁剪图片 你使用框架只需要一行代码即可完成 框架的存在 降低了我们写代码的难度 以及确保了代码的整洁与规范 而对于pytorch的学习 你无需从头开始 你只需要在项目中进行学习。
基于GPUGEEK 平台进行深度学习
2301_80863610的博客
05-14 1万+
GPUGEEK 是一个专注于提供 GPU 算力租赁服务的平台，在人工智能与深度学习领域为用户搭建起便捷的算力桥梁。它整合了丰富多样的 GPU 资源，涵盖 RTX - 4090、RTX - 3090、A100 - PCIE 等多种型号，满足不同用户在模型训练、数据处理、图像渲染等场景下的算力需求。同时，该平台还设有镜像市场、模型市场等功能板块，为用户提供一站式的 AI 开发与运算支持。经过一段时间对 GPUGEEK 平台的使用，其给我留下了深刻且良好的印象。
【从基础到模型网络】深度学习-语义分割-ROI
yuange1666的博客
05-18 787
在语义分割中，ROI（Region of Interest，感兴趣区域）是图像中需要重点关注的部分。其作用包括：提高效率，减少高分辨率图像的计算量；增强分割精度，聚焦关键语义信息；减少背景干扰，提升模型性能；适应特定场景需求，如医学图像中的肿瘤检测或自动驾驶中的行人检测。ROI 提取可通过手动标注、目标检测算法或注意力机制实现，是优化语义分割任务的重要手段。
循环神经网络：捕捉序列数据中的时间信息
m0_73776435的博客
05-16 492
循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理序列数据的神经网络。与前馈神经网络（Feedforward Neural Network）不同，循环神经网络具有记忆功能，能够对序列中的时间依赖关系进行建模。这使得它在处理诸如自然语言处理、语音识别、时间序列预测等序列数据相关的任务时表现出色。本文将深入探讨循环神经网络的基本原理、结构、变体以及实际应用案例，帮助读者全面理解这一重要的神经网络类型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值