数字人解决方案——ID-Animator可保持角色一致生成视频动画

一、引 言

个性化或自定义生成在图像和视频生成领域是一个不断发展的研究方向，尤其是在创建与特定身份或风格一致的内容方面。您提到的挑战和解决方案为这一领域提供了有价值的见解：

• 训练成本高：这是一个普遍问题，因为个性化生成模型往往需要大量的参数和数据来学习复杂的特征表示。您提出的解决方案，ID-Animator，通过使用一个预训练的文本到视频扩散模型和一个轻量级的人脸适配器模块来降低训练成本，这是一种有效的方法。
• 高质量文本-视频对数据集的稀缺性：数据集的可用性是机器学习模型性能的关键因素。您提出的解决方案，即构建一个面向ID的数据集构建管道，通过利用现有数据集并引入解耦字幕的概念，为模型训练提供了必要的数据。
• 参考图像中与ID无关的特征：这可能会干扰模型学习与特定身份相关的特征。您提出的使用随机人脸图像作为参考的新训练方法，有助于将与ID无关的内容与相关的面部特征分离，从而提高视频生成的质量。

ID-Animator模型的提出，展示了如何通过创新的方法来解决个性化视频生成中的挑战。它的轻量级设计和对现有社区模型的无缝集成，使其成为一个有前景的研究方向。此外，它在泛化能力和ID保留方面的潜力，对于电影行业等需要高度真实感的角色动作表现的应用场景尤其重要。

• 隐私和伦理问题：随着个性化视频生成技术的发展，需要确保遵守隐私法规，并且在使用个人数据时考虑伦理问题。
• 模型的可解释性：提高模型的可解释性可以帮助用户理解模型的行为，并建立对自动生成内容的信任。
• 多模态学习：结合文本、图像和视频等多种模态的数据，可以进一步提升模型的性能和生成内容的多样性。
• 实时性能：对于某些应用场景，如实时视频会议或游戏，实时生成个性化视频是一个重要的考量因素。
• 用户界面和体验：为了使非技术用户也能轻松使用这些技术，开发直观的用户界面和体验是必不可少的。
  随着技术的不断进步，个性化视频生成领域有望实现更多创新和突破，为娱乐、教育、安全监控等多个行业带来变革。
  

二、技术亮点及创新

在图像和视频生成领域，个性化或定制生成技术正变得越来越重要，尤其是在需要高度一致性和身份识别的应用场景中。ID-Animator，一个创新的框架，旨在生成高保真的、特定身份的人类视频，通过结合先进的技术和策略，应对了该领域的几个关键挑战。

ID-Animator 框架

预训练的文本到视频扩散模型：该模型已经证明了其在视频生成方面的强大能力。然而，为了在特定身份的人类视频生成中取得更好的效果，需要对模型进行定制和优化。利用如AnimateDiff之类的技术，可以增强模型对特定身份特征的捕捉能力。

人脸适配器：图像提示的使用极大地提升了扩散模型的生成质量，尤其是在文本描述难以准确涵盖所需内容时。受IP-Adapter的启发，设计了一个轻量级的人脸适配器模块，它结合了基于查询的图像编码器和带有可训练权重的交叉注意力模块。该模块能够细化参考图像的特征，并与原始扩散模型中的权重协同工作，以提高图像提示的效果，同时降低训练成本。

面向ID的人类数据集重建

为了解决高质量文本-视频对数据集稀缺的问题，ID-Animator采用了一种创新的方法来重构CelebV-HQ数据集，创建了一个以身份为中心的人类视频数据集。通过解耦人类属性和动作字幕，该方法能够更精确地捕捉和重建与特定身份相关的特征。

随机参考训练

ID-Animator采用了一种从蒙特卡罗方法中汲取灵感的随机参考训练策略。在训练过程中，模型以当前视频序列为条件，从预先提取的人脸池中随机选择参考图像。这种策略有效地将生成的视频内容与单一参考图像解耦，允许模型学习并融合来自多个参考图像的特征。通过这种方式，模型不仅减少了与身份无关特征的影响，还提高了遵循用户指令的能力。

通过这些策略和组件的协同工作，ID-Animator能够生成具有高度身份一致性和真实感的视频，这对于电影制作、游戏开发和虚拟现实等应用领域具有重大意义。随着技术的不断进步，ID-Animator有望推动个性化视频生成技术的发展，为用户带来更加丰富和逼真的体验。

三、应用场景

模型的潜在应用，包括重新语境化、年龄或性别定制、ID 混合以及与 ControlNet 或社区模型的集成以生成高度定制的视频。

重新语境化

给定参考图像，ID-Animator 模型能够生成 ID 保真度视频并更改上下文信息。角色的上下文信息可以通过文本进行定制，包括特征、头发、服装等属性，创建新颖的角色背景，并使他们能够执行特定的动作。

身份混合

通过以不同比例混合来自两个不同 ID 的嵌入，有效地将两个 ID 的特征组合在生成的视频中。

与 ControlNet 结合使用

ID-Animator 模型与现有的细粒度条件模块（如ControlNet）具有出色的兼容性。选择针对 AnimateDiff 训练的 SparseControlNet 作为与我们的模型集成的附加条件。如图 9 所示，可以提供单帧控制图像或多帧控制图像。当提供单帧控制图像时，生成的结果会熟练地将控制图像与人脸参考图像融合在一起。在呈现多个控制图像的情况下，生成的视频序列与多个图像提供的序列紧密相连。该实验突出了本文方法的鲁棒泛化能力，可以与现有模型无缝集成。

使用社区模型进行推理

本文使用 Civitai 社区模型评估模型的性能，尽管从未接受过这些权重的训练，但ID-Animator模型继续有效地运行。选定的型号包括 Lyriel 和 Raemumxi。如图 10 所示，第一行展示了使用 Lyriel 模型获得的结果，而第二行展示了使用 Raemuxi 模型获得的结果。本文方法始终表现出可靠的面部保护和运动生成能力。

生活结果：

四、总结

ID-Animator框架的设计巧妙地利用了现有的文本到视频模型，通过引入特定身份的生成机制，极大地提升了视频内容的个性化水平。该框架不仅能够与现有的T2V模型无缝集成，还能够针对特定身份的生成任务进行有效的定制和优化。

数据集构建

为了支持ID-Animator的训练，我们采取了以下两个策略：

• 解耦字幕生成：我们利用公开可用的资源，创新性地生成了与人类行为和属性相关的解耦字幕。这一步骤极大地增强了模型对于文本描述与视频内容之间关联的理解能力。
• 人脸池构建：通过构建一个人脸池，我们为模型的训练过程提供了丰富的、与特定身份相关的图像资源，从而显著提升了模型的识别和生成能力。

随机人脸参考训练方法

为了进一步提升视频生成的质量和身份保真度，我们开发了一种新颖的随机人脸参考训练方法。该方法通过从人脸池中随机选择参考图像，有效地降低了参考图像中与身份无关特征的干扰，同时增强了模型对身份相关特征的关注。这种方法的灵感源自蒙特卡罗原理，通过平均来自不同参考图像的特征，我们成功地提高了模型的泛化能力和对用户指令的响应度。