MotionCtrl: A Unified and Flexible Motion Controller for Video Generation

最新推荐文章于 2024-04-30 23:23:05 发布
最新推荐文章于 2024-04-30 23:23:05 发布
阅读量967 收藏 20
点赞数 18
分类专栏： 论文 深度学习 文章标签： 深度学习 人工智能 ai 机器学习 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Are_you_ready/article/details/136634978
版权

MotionCtrl: A Unified and Flexible Motion Controller for Video Generation

  • 这篇论文是基于VideoCrafter的，而VideoCrafter是基于LVDM的

  • 关于LVDM可以看https://blog.csdn.net/Are_you_ready/article/details/136615853

  • 2023年12月6日发表在arxiv

  • 这篇论文讨论了一种先进的技术，用于控制视频生成中的相机和物体运动。主要内容包括：

    • 综合框架：论文提出了一个统一且灵活的运动控制框架，用于视频内容生成。
    • 控制功能：该框架能够控制相机和物体的运动，包括方向、速度和轨迹。
    • 技术应用：适用于各种视频制作场景，如电影制作、游戏开发等。

Abstract

  • 在视频中，运动主要包括由相机运动引起的相机运动和由物体运动引起的物体运动。对这两种运动的精确控制对于视频生成至关重要。然而，现有的工作要么主要关注一种类型的运动，要么没有明确地区分两者，从而限制了其控制能力和多样性。
  • 因此，本文提出了一种统一的、灵活的运动控制器MotionCtrl，用于视频生成，旨在有效且独立地控制相机和物体运动
    • 我们仔细设计了MotionCtrl的架构和训练策略，同时考虑了相机运动、物体运动和不完善训练数据的固有属性
    • 与以前的方法相比，MotionCtrl具有以下三个主要优点：
      1. 它可以有效且独立地控制相机运动和物体运动，从而实现更精细的运动控制，并促进两种类型运动的灵活和多样化组合
      2. 其运动条件由相机姿态和轨迹确定，这些姿态和轨迹与外观无关，并且对生成视频中物体的外观或形状的影响最小
      3. 它是一种相对通用的模型，一旦训练过，就可以适应各种相机姿态和轨迹，即MotionCtrl可以控制各种摄像机运动和轨迹，无需对每个摄像机或对象运动进行精细调整。

Introduction

  • 在视频中，主要有两种类型的运动：由相机运动引起的全局运动和由物体运动引起的局部运动
  • 相机运动是指整个场景在时间维度上的全局变换，通常通过一段时间内的相机姿态序列来表示。
  • 相比之下，物体运动涉及场景中特定物体的时间运动，通常表示为与物体相关联的一组像素的轨迹

MotionCtrl的两个模块

  • 首先，我们根据相机运动和物体运动的属性，构建了MotionCtrl的两个模块:相机运动控制模块（CMCM–Camera Motion Control Module）和物体运动控制模块（OMCM–Object Motion Control Module）。这两个模块与现有的视频生成模型协同工作
  • 在这项工作中，我们采用了VideoCrafter1 [5]，这是LVDM [9]的改进版本，作为视频生成模型，并在整篇论文中将其称为LVDM（VideoCrafter[5]，该模型在结构上类似于LVDM[9]。为了清晰起见，我们将本文中使用的视频模型称为LVDM）
    • CMCM：通过其时间变换器将一系列相机姿态按时间顺序融合到LVDM中，使生成的视频的全球运动符合给定的相机姿态
    • OMCM：将物体运动的信息空间融合到LVDM的卷积层中，以指示每个生成帧中物体的空间位置

训练MotionCtrl

  • 训练MotionCtrl需要带有完整注释的视频片段，包括标题、相机姿态和物体运动轨迹，这些目前不可用且难以构建
  • 我们可以独立训练CMCM和OMCM这两个模块
    • 从而将数据集简化为一个具有标题和相机姿态注释的视频数据集。我们首先引入了一个增强版的Realestate10k数据集，该数据集利用Blip2 [13]为Realestate10k [33]中的每个样本生成标题。这个具有标题和相机姿态注释的视频数据集被用来训练CMCM模块
    • 以及另一个具有标题和物体运动轨迹注释的视频数据集。我们使用ParticleSfM [31]中提出的运动分割算法合成的物体运动轨迹来增强WebVid [3]中的视频。因此，我们可以获得一个增强版的WebVid数据集来训练OMCM模块
  • 由于独立的适配器式训练策略和冻结的预训练LVDM，我们可以使用相机和物体运动中的一种或结合两种运动来控制视频生成，从而实现精细和灵活的运动控制。

贡献

  • 本文的主要贡献可以总结如下：
    • 我们引入了MotionCtrl，这是一种统一且灵活的视频生成运动控制器，旨在独立且有效地控制生成视频中的相机运动和物体运动，实现更精细和多样化的运动控制。
    • 我们根据相机运动、物体运动的固有属性以及不完美的训练数据，精心设计了MotionCtrl的架构和训练策略，有效地实现了视频生成中的精细运动控制。
    • 我们进行了广泛的实验，从定性和定量两个方面证明了MotionCtrl优于之前的相关方法。

相关工作

  • 一些努力旨在实现更通用的运动控制。例如，VideoComposer [25]通过额外的运动向量引入了运动控制，DragNUWA [28]提出了在初始图像、提供的轨迹和文本提示的条件下的视频生成。然而，这些方法中的运动控制相对广泛，无法在视频中精细地分离相机和物体运动。

  • 与这些工作不同，我们提出了MotionCtrl，这是一个统一且灵活的运动控制器，可以使用相机姿态和物体轨迹或结合这两种指导来控制生成的视频的运动。它为视频生成提供了更精细和灵活的控制。

方法

  • 考虑到相机运动的全局属性和物体运动的局部属性，CMCM与LVDM中的时间变换器进行交互，而OMCM与LVDM中的卷积层进行空间合作
  • 此外，我们采用多个训练步骤使MotionCtrl适应缺乏高质量视频剪辑、标题、摄像机姿态和物体运动轨迹的训练数据的情况

CMCM

  • 将CMCM模块插入到Temporal Transformer中，只插入到它的后两个全连接层和注意力层，这应该是因为相机运动和时间密切相关

OMCM

  • 将OMCM模块插入到卷积层，这应该是因为它与物体密切相关

训练策略与数据集构建

  • 为了通过文本提示生成视频并实现相机和物体运动的控制，训练数据集中的视频剪辑必须包含标题、摄像机姿态和物体运动轨迹的注释，然而，目前没有这样的综合细节的数据集可用
  • 为了解决这一挑战，我们提出了多步骤训练策略，并使用针对其特定运动控制需求的独特增广数据集对所提出的相机运动控制模块（CMCM）和物体运动控制模块（OMCM）进行训练。
    • 多步骤训练也就是因为一步训练的数据集没有，就先训练CMCM，训练完后，将其冻结，然后训练OMCM
CMCM
  • 学习相机运动控制模块（CMCM）需要一个包含带有标题、摄像机姿态但不包含物体运动轨迹的视频剪辑的训练数据集
  • 我们选择使用Realestate10K数据集 [33]，在移除了无效的视频链接后，提供了62,992个视频剪辑，并伴随着各种摄像机姿态
    • 使用 这个数据集存在的两个问题：
      • 数据集的场景多样性有限，主要来自房地产视频
      • 它缺乏T2V模型所需的标题
    • 第一个问题解决方案：
      • 我们专门设计了CMCM模块，仅训练LVDM中的时间变换器的几个额外的MLP层和第二个自注意力模块，同时冻结所有其他参数，CMCM的训练主要集中在学习全局运动上，很少影响生成视频的内容
      • 我们使用Blip2 [13]，一个图像描述算法，为Realestate10K中的每个视频剪辑生成标题
OMCM
  • 学习物体运动控制模块（OMCM）需要一个包含相应标题和物体运动轨迹的视频剪辑的数据集
  • 目前，还没有大规模的数据集将视频文本对与物体轨迹结合起来。为了解决这个问题，我们使用ParticleSfM [31]来生成物体运动轨迹，使用WebVid数据集 [3]，该数据集广泛用于T2V生成
    • 尽管ParticleSfM很有效，但它并不高效，需要大约2分钟来处理一个32帧的视频
    • 为了解决密集轨迹的问题，我们使用从密集轨迹中采样的稀疏轨迹来训练OMCM。这些稀疏轨迹过于分散，不利于有效学习，因此我们使用高斯滤波器对其进行细化。
      • 在训练过程中，我们从合成的轨迹中随机选择n∈[1, N]轨迹（其中N是每个视频的最大轨迹数）
    • 在训练过程中，我们首先使用密集轨迹对OMCM进行训练，然后使用稀疏轨迹对其进行微调。
  • 在这个训练阶段，我们采用了已经与CMCM进行微调的LVDM模型。我们只训练OMCM层，而整个基础模型和CMCM保持冻结
  • 这种策略保证了OMCM在有限的数据集上增加了物体运动控制能力，同时最小化了对LVDM和CMCM的影响

实验

  • 我们的MotionCtrl基于LVDM [9]和训练权重由VideoCraft1 [5]提供

    • 它在分辨率为256 × 256的16帧序列上进行训练
    • 我们将最大轨迹数N设置为8
    • CMCM和OMCM都使用Adam优化器 [12]进行优化，批量大小为128，学习率为1×10 −4，在8个NVIDIA Tesla V100 GPU上进行训练
    • CMCM需要大约50,000次迭代才能收敛。OMCM首先在密集轨迹上进行20,000次迭代训练，然后使用稀疏轨迹进行额外的20,000次微调。

  • 我们将它与两种领先的方法进行了比较：AnimateDiff [8]和VideoComposer [25]

    • AnimateDiff使用8个独立的LoRA [11]模型来控制视频中的8个基本相机运动，例如平移和缩放
    • VideoComposer使用运动向量来操纵视频运动，没有区分摄像机和物体的运动
    • 虽然DragNUWA [28]与我们的研究相关，但其代码未公开，因此无法进行直接比较
      • 此外，DragNUWA仅通过从光学流中提取的轨迹来学习运动控制，无法精细地区分前景物体和背景的运动，限制了其精确控制摄像机和物体运动的能力

  • 摄像机和物体运动的结合。MotionCtrl不仅可以在单个视频中独立控制摄像机和物体的运动，还可以对两者进行集成控制

Are_you_ready
关注
  • 18
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FaceNet: A Unified Embedding for Face Recognition and Clustering
12-13
一种统一的人脸识别与聚类嵌入算法
英文论文原文FaceNet: A Unified Embedding for Face Recognition and Clustering
11-22
深度学习神经网络在人脸识别中的运用，网络采用欧氏距离来衡量两张人脸图片之间的相似度。
DCNSim: A Unified and Cross-Layer Computer Architecture Simulation Framework for Data Center Network Research
02-10
Within today's large-scale data centers, the inter-node communication is often the major bottleneck. This fact recently blooms the data center network (DCN) research. Since building a real data center is cost prohibitive, most of DCN studies rely on simulations. Unfortunately, state-of-the-art network simulators have limited support for real world applications, which prevents researchers from first-hand investigation. To address this issue, we developed a unified and cross-layer simulation f
全文翻译 MotionBERT: A Unified Perspective on Learning Human Motion
08-07
MotionBERT: A Unified Perspective on Learning Human Motion Representations 全文翻译、原排版、未精修，可结合原文及以下链接笔记观看： https://blog.csdn.net/lqy61/article/details/132129163
【深度学习论文】FaceNet: A Unified Embedding for Face Recognition and Clustering
01-07
0. 前言 参考资料： FaceNet: A Unified Embedding for Face Recognition and Clustering – 原文 译文 其他参考博客： CSDN博客：【深度学习论文笔记】FaceNet: A Unified Embedding for Face Recognition and Clustering CSDN博客：FaceNet–Google的人脸识别 《21个项目玩转深度学习》6章。 实现：davidsandberg/facenet (非官方实现，4800+stars)  kaggle —- Humpback Wh
【AIGC-图片生成视频系列-3】AI视频随心而动：MotionCtrl的相机运动控制和物体运动控制
sinat_19868271的博客
12-30 1228
MotionCtrl 提出一个用于视频生成的统一且灵活的运动控制方法，可以实现独立有效地管理生成视频中的相机运动和物体运动。
阿里视频生成大模型I2VGen-XL的论文来了！视频合成新范式
AIGCer的博客
11-26 2289
本文中，我们介绍了一种名为I2VGen-XL的级联视频合成模型，该模型能够从单个静态图像生成高质量的视频。从两个角度解决了问题：语义一致性和时空连续性，并设计了两个阶段分别解决这两个目标。通过使用大量的类别数据验证了I2VGen-XL方法的有效性。此外，通过将I2VGen-XL方法与图像合成算法相结合，探索了视频合成的新范式。然而，尽管付出了这些努力，我们知道视频合成仍然面临着许多挑战。需要在人体对象、持续时间和意图理解等方面进行进一步的探索，以解决视频合成中更多实际任务。
Meta Platforms推出Imagine：基于Emu的免费AI文本到图像生成器服务
heehelcom的博客
12-08 176
它然后将该特征表示与 LVDM 的时间变换器进行集成，以捕获视频中相机运动的影响。MotionCtrl 扩展了 LVDM 去噪 U-Net 结构，通过添加相机运动控制模块(Camera Motion Control Module,CMCM)和物体运动控制模块(Object Motion Control Module,OMCM)来捕获视频中的运动信息。OMCM 在体征提取阶段学习物体运动特征，并将其注入到后续的残差块中，以提升神经网络对物体运动的理解能力。
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3036
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
CV计算机视觉每日开源代码Paper with code速览-2023.12.8
CV计算机视觉
12-14 424
群内包含目标检测、图像分割、目标跟踪、Transformer、多模态、NeRF、GAN、缺陷检测、显著目标检测、关键点检测、超分辨率重建、SLAM、人脸、OCR、生物医学图像、三维重建、姿态估计、自动驾驶感知、深度估计、视频理解、行为识别、图像去雾、图像去雨、图像修复、图像检索、车道线检测、点云目标检测、点云分割、图像压缩、运动预测、神经网络量化、网络部署等多个领域的大佬，
A Guide Resource for Deep Reinforcement Learning
开发人工智能算法，带你了解科技前沿，这里的知识丰富！
12-24 674
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
【深度学习】YOLOv5，金属表面的缺陷检测，GC10-DET数据集
q742971636的博客
04-26 404
数据集的lable文件夹下是每个图片的框和类别标记，是xml格式。
深度学习突破：LLaMA-MoE模型的高效训练策略
人工智能前沿分享
04-26 1322
在人工智能领域，大模型（LLM）的崛起带来了前所未有的进步，但随之而来的是巨大的计算资源需求。为了解决这一问题，Mixture-of-Expert（MoE）模型架构应运而生，而LLaMA-MoE正是这一架构下的重要代表。LLaMA-MoE是一种基于LLaMA系列和SlimPajama的MoE模型，它通过将LLaMA的前馈网络（FFNs）划分为稀疏专家，并为每层专家插入top-K个门，从而显著减小模型大小，降低训练成本。这种方法不仅保持了模型的语言能力，同时实现了输入的高效处理。
基于自注意力机制的长短期记忆神经网络(LSTM-SelfAttention)的回归预测
沅的博客
04-27 996
它结合了LSTM和自注意力机制的优势，可以有效地处理时序数据中的长期依赖关系和关键部分。这个模型结合了两个不同的结构，即长短期记忆网络（LSTM）和自注意力机制，从而在时序数据预测中发挥各自的优势。LSTM-SelfAttention模型的优势在于它既能捕捉到时序数据中的长期依赖关系（通过LSTM），又能关注输入数据中的关键部分（通过自注意力机制）。LSTM在时序数据预测中表现出色，因为它可以捕捉到数据中的长期依赖关系。自注意力层：在LSTM层之后，引入自注意力机制，以关注时序数据中的不同部分。
Sarcasm detection论文解析 |用于微博讽刺检测的上下文增强卷积神经网络
最新发布
人工智能学习生
04-30 810
在卷积神经网络的基础上，我们为这项任务提出了两种不同的语境增强神经网络模型。与之前的研究相比，我们的神经网络模型将推文内容本身的特征和上下文特征以单词向量的形式整合到了一个模型中。实验结果表明，与最先进的离散模型和基于上下文的模型相比，我们提出的上下文增强神经网络模型具有更好的性能，证明了上下文增强神经网络模型在这项任务中的有效性。
目标检测（任务概述、机器学习时代的方法、深度学习时代的目标检测模型）
hanmo22357的博客
04-27 1092
目标检测任务的概念：尝试从一张输入图像中找出感兴趣的物体所在的区域。感兴趣物体所在的区域：一般通过RoI（Region of Interest）进行表示，往往是一个包含有感兴趣的物体的水平的矩形，有时候也会是倾斜的矩形或一个表示物体轮廓线的任意几何形状。目标检测和OCR的关系：目标检测是一种常见的图像处理任务，是OCR任务的基础。目标检测技术的发展：在21世纪初，研究者们提出了很多基于机器学习的目标检测算法；十多年后，深度学习将目标检测引领向了一个新时代。目标检测方法的分类。
深度学习之基于Matlab NN的伦敦房价预测
Q1744828575的博客
04-30 470
一、项目背景房价预测是房地产领域的一个重要问题，对于投资者、开发商以及政策制定者等都具有重要的指导意义。随着深度学习技术的不断发展，其在房价预测领域的应用也越来越广泛。本项目旨在利用Matlab神经网络（NN）工具箱，构建一个基于深度学习的伦敦房价预测模型，以实现对伦敦地区房价的准确预测。二、项目目标数据收集与预处理：收集伦敦地区的房价数据，包括房屋类型、面积、地理位置、周边环境等信息，并进行数据清洗、去噪、标准化等预处理操作，以提高数据质量。
facenet: a unified embedding for face recognition and clustering
03-16
FaceNet是一种用于人脸识别和聚类的统一嵌入方法。它使用深度学习技术将人脸图像转换为高维向量，使得相似的人脸在向量空间中距离较近，不相似的人脸距离较远。这种方法在人脸识别和聚类任务中取得了很好的效果，被广泛应用于人脸识别、人脸搜索等领域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值