开源公告｜MimicMotion发布

最新推荐文章于 2024-10-10 09:22:18 发布

tencent__open

最新推荐文章于 2024-10-10 09:22:18 发布

阅读量181

点赞数

文章标签：人工智能

原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ==&mid=2247492763&idx=1&sn=6ce715b063a9392b198d5d0faac675b1&chksm=974a83872b88d8036e0c87bb7607ef1c05a18336d19c6904584eca479b70d3cc87c1b519d53c&scene=126&sessionid=0

版权

业务背景

目前AI在图像生成领域已被广告客户广泛使用，解决客户实际需求，降低整体素材成本。视频类素材在广告投放中占比大，客户对于AI视频的需求日渐强烈然而视频生成目前普遍存在可控性弱，动态效果不真实，输出时长短的问题。MimicMotion技术能通过参考人物的骨骼动作，有效解决以上问题，生成平滑高质量的人物动作视频，从而解决广告客户对人物动作的需求。‍

社交行业-展示类动作

教育行业-运动类动作

电商行业-介绍类动作

依托MimicMotion技术，以腾讯混元为基底的一站式AI广告创意平台——腾讯广告妙思现已上线【人物动作视频】功能。平台针对广告行业需求，提供匹配热点、卖点等动作模板，用户只需要上传一张人物正面站立图片，选择所需动作模板，即可生成用于广告投放的动作视频。

项目简介

近年来，生成式人工智能在图像生成领域取得了重要进展，催生了各种AIGC应用。然而，视频生成仍面临着诸如视频长度有限、可控性弱或动态细节不够丰富度等多方面的挑战，这些挑战阻碍了这项技术的应用和普及。因此，本项目提出了一个名为MimicMotion的可控视频生成框架，该框架可以通过提供参考人像及由骨骼序列表示的动作，来产生平滑的高质量人体动作视频。与以往的方法相比，MimicMotion具有以下几个亮点。首先，通过引入了置信度感知的姿态引导信号，大幅提升了帧间一致性，使得产生的视频在时序上能够做到平滑自然。其次，通过放大置信度感知的区域损失，显著减少了图像失真，使得局部画面如人体手部细节得到了大幅改善。最后，通过结合扩散过程的渐进式潜在特征融合策略，MimicMotion能够在有限的算力资源内生成无限长的视频同时保证画面连贯。大量的实验结果和用户调研表明MimicMotion在各种方面都显著优于以往的方法，详细对比可参考项目主页及技术报告，目前模型及配套代码均已开源。‍

//主要优势：

● 生成结果细节更清晰 (尤其是手部细节)；

● 生成视频时序平滑度更好，无明显闪烁；

● 能够生成长视频并且无明显跳变。

架构设计

图: MimicMotion模型架构设计概览

MimicMotion模型的核心结构是一个带有U-Net的隐空间视频扩散模型，用于在隐空间中进行逐步去噪。输入视频帧的VAE编码器和相应的解码器用于获取去噪视频帧，这些部分都加载了Stable Video Diffusion (SVD)预训练参数并将其冻结。VAE编码器独立地应用于输入视频的每一帧以及条件参考图像，基于逐帧操作，不考虑时间或跨帧交互。不同的是，VAE解码器处理经过U-Net时空交互的隐特征。为了确保生成流畅的视频，VAE解码器在空间层外加入了时间层，以镜像VAE编码器的架构。

除了输入视频帧之外，参考图像和姿态序列是模型的另外两个输入。参考图像通过两个独立的路径输入到扩散模型中。一个路径是将图像输入到U-Net的每个模块中。具体来说，通过类似CLIP的视觉编码器，提取图像特征并将其输入到每个U-Net模块的交叉注意力中，以最终控制输出结果。另一个路径针对输入的隐特征。与原始视频帧类似，输入的参考图像使用相同的冻结VAE编码器进行编码，以在隐空间中获得其表示。然后，单个参考图像的隐特征沿着时间维度复制，以与输入视频帧的特征对齐。复制的隐参考图像与隐视频帧沿通道维度连接在一起，然后一起输入到U-Net中进行扩散。

为了引入姿态的指导，PoseNet被设计为一个可训练的模块，用于提取输入姿态序列的特征，它由多个卷积层实现。不使用VAE编码器的原因是姿态序列的像素值分布与VAE自编码器训练的普通图像不同。通过PoseNet提取姿态特征，然后逐元素地添加到U-Net第一个卷积层的输出中。这样，姿态指导的影响可以从去噪的一开始就发挥作用。