“图生视频”技术创新：剪贴画秒变动画生成的实验验证与分析

在最近的研究进展中，AniClipart系统的问世标志着文本到视频生成技术的一个重要里程碑。这一系统由香港城市大学和莫纳什大学的研究者们共同开发，旨在解决将静态剪贴画图像根据文本提示自动转换成动画序列的挑战。传统的动画制作流程繁琐且耗时，而现有的文本到视频生成模型难以保留剪贴画的视觉特征并生成风格一致的动画。该系统通过定义关键点和贝塞尔曲线作为运动轨迹，利用预训练的文本到视频扩散模型中的运动知识，优化关键点轨迹，同时采用As-Rigid-As-Possible形状变形算法保持剪贴画的视觉一致性，从而生成与文本描述相符的高质量动画。

AniClipart系统是一个创新的动画生成框架，它能够将静态的剪贴画图像转换成动态的、根据文本提示变化的动画序列。这一系统的设计和实现涉及多个关键的技术步骤，每一个步骤都为最终的动画效果提供了必要的支持。

方法

方法概述

AniClipart系统的设计核心在于将文本提示转化为可视的动画序列。系统首先对输入的剪贴画图像进行分析，以识别出能够代表图像特征的关键点。这些关键点是动画运动的基础，它们可以是图像中的特定形状、边缘或者显著的特征。接着，系统利用贝塞尔曲线来定义这些关键点的运动轨迹。贝塞尔曲线因其在图形设计中的灵活性和控制性而被选用，它们能够精确地控制动画中关键点的移动和变化。

为了生成与文本描述相匹配的动画，系统采用了Video Score Distillation Sampling (VSDS)损失函数进行优化。VSDS损失函数是一种新颖的优化方法，它能够从预训练的文本到视频扩散模型中提取运动知识，并将其应用于关键点的贝塞尔曲线轨迹优化中。通过这种方式，系统能够生成与文本提示语义一致的动画序列。

剪贴画预处理

在动画生成的第一步中，系统对剪贴画进行细致的预处理。这一步骤包括关键点的检测、骨架的构建以及三角形网格的生成。关键点检测利用先进的算法识别出图像中的关键特征，这些特征随后被连接起来形成骨架，它代表了剪贴画的结构和运动潜力。进一步地，系统在剪贴画上构建了一个三角形网格，这个网格是后续形状操作的基础，它允许系统对剪贴画进行细致的变形处理。

贝塞尔驱动的动画

在预处理之后，系统进入动画生成的核心阶段。在这一阶段，每个关键点都被分配了一条贝塞尔曲线，这条曲线定义了关键点在动画时间轴上的位置变化。通过在贝塞尔曲线上定义一系列的时间步长，并在这些时间步长上采样关键点的新位置，系统能够生成一系列动画帧。这些帧不仅展示了关键点的动态变化，而且通过贝塞尔曲线的平滑性质，确保了帧与帧之间的过渡自然流畅。

损失函数

为了确保动画的质量，系统采用了两种损失函数进行优化。首先是VSDS损失函数，它负责将文本提示中的运动知识蒸馏到贝塞尔曲线中，从而生成与文本描述相匹配的动画。其次是骨架损失函数，它的作用是保持剪贴画在动画过程中的视觉一致性。通过约束骨架长度的变化，骨架损失函数确保了动画中的形状变形保持规律性，避免了不自然的扭曲或失真。

结合这两种损失函数，AniClipart系统能够在保持剪贴画原始视觉特征的同时，生成与文本描述紧密对齐的动画序列。这一过程中，系统还利用了As-Rigid-As-Possible (ARAP)形状变形算法，它能够在优化过程中保持变形的刚性，进一步提升了动画的自然度和逼真度。

通过精心设计的预处理步骤、贝塞尔曲线的运动轨迹定义、以及损失函数的优化，系统能够自动地生成高质量、风格一致的动画序列，为自动动画生成领域提供了一种有效的解决方案。

在AniClipart系统的实验部分，研究者们采取了一系列细致的步骤来验证该系统的性能。实验的设计旨在全面评估AniClipart在生成动画时的视觉质量、文本对齐能力以及与现有技术的比较。

实验

实验设置

实验的基础是30个来自Freepik网站的剪贴画图像，这些图像涵盖了人类、动物和物体等不同的类别。这些图像不仅用于展示AniClipart系统的动画生成能力，也用于测试系统对不同类型剪贴画的适应性和泛化能力。在实验中，每个剪贴画都被调整到统一的分辨率，以确保公平的比较。此外，研究者们采用了一种高效的优化器——Adam优化器，来调整贝塞尔曲线的控制点，以此来生成与文本描述相匹配的动画序列。

评估指标

为了量化评估生成动画的质量，研究者们选定了几个关键的评估指标。首先是视觉身份保留，即动画在保持原始剪贴画视觉特征方面的能力。这一指标通过计算输入剪贴画与生成动画中每一帧之间的特征表示的相似度来衡量。其次，文本视频对齐是一个衡量动画内容与文本提示之间相关性的指标，它确保了生成的动画不仅在视觉上吸引人，而且在语义上与用户的文本描述保持一致。

与现有方法的比较

研究者们将AniClipart系统与现有的文本到视频生成模型进行了比较。通过一系列的定量和定性分析，结果表明AniClipart在视觉身份保留和文本视频对齐方面均优于现有方法。这一优势归功于AniClipart系统的关键技术，包括贝塞尔曲线的运动轨迹定义、VSDS损失函数的优化，以及ARAP算法的形状变形能力。这些技术的结合使得AniClipart能够生成既忠实于原始剪贴画，又能够准确反映文本描述的动画。

消融研究

为了进一步理解AniClipart系统中各个组件的贡献和重要性，研究者们进行了消融研究。通过逐一移除系统中的关键组件，如ARAP变形算法、贝塞尔曲线的运动轨迹、VSDS损失函数和骨架损失函数，研究者们观察了这些变化对最终动画质量的影响。消融研究的结果凸显了每个组件的必要性，特别是ARAP算法在保持动画形状一致性方面的作用，以及VSDS损失函数在确保文本到动画对齐方面的有效性。此外，消融研究还揭示了骨架损失在维持动画中剪贴画原始结构中的重要性。

AniClipart系统的提出，为自动动画生成领域带来了新的可能。通过结合文本提示和预训练的模型，该系统能够生成既保留剪贴画视觉特征又具有连贯性的动画序列。尽管存在一些局限性，如受限于视频模型的能力，但AniClipart已经证明了其在自动动画生成方面的潜力。未来的工作将探索3D扩展，将这一技术应用于更广泛的领域。

论文链接：https://arxiv.org/abs/2404.12347

项目地址：https://aniclipart.github.io/