CVPR'22 | 基于可形变关键点模型的图像驱动技术

丨目录：‍

   · 问题介绍 — 什么是图像驱动

   · 图像驱动有哪些应用

   · 主要成果

   · Baseline 方法 — FOMM

   · 我们的改进方案 — 可形变关键点模型

   · 实验对比

   · 引用

   · 关于我们

本文分享阿里妈妈技术创意&视频平台关于图像驱动的最新研究工作。该项工作论文已发表在CVPR 2022，基于本文成果的图片生成动效视频可用于广告视频创意生成，已产出Demo，发表于去年的ACM MM Demo Track。

论文：Structure-Aware Motion Transfer with Deformable Anchor Model

下载：https://arxiv.org/abs/2204.05018

问题介绍 — 什么是图像驱动

图像驱动，又叫动作迁移 （Motion Transfer）或者 图像动画（Image Animation) ，是近几年很火的计算机视觉算法。只需要一张图片（称为源图像）和一段视频（称为驱动视频），系统就可以生成一段视频，这段视频的外观与源图像一致，而主体动作与驱动视频一致。从直观上看，就好像源图像被“驱动”起来一样。也因此，我们可以轻松得到下图这样，不同的人物做整齐划一的动作，做同样的表情。

‍

图像驱动有哪些应用

图像驱动可以很容易用在动效视频生成相关的泛娱乐化场景中。例如风靡一时“吗咿呀嘿”应用， 输入自己的头像，就能加入到一组非常魔性的“吗咿呀嘿”合唱团中。又如来自上科大Wen Liu 博士的演示[1]，“川普“也能畅快打上篮球了：

视频详见：https://www.zhihu.com/zvideo/1319066582795075584

对于阿里妈妈广告系统，图像驱动同样展现出不错的应用前景。如以下两组图片所示，对于淘宝商品，应用图像驱动技术，可以为原本静态的商品图制作动效，这样自带动效的创意更加吸引用户。关于图像驱动用于淘宝商品动效生成的技术细节不在本文讨论范围，具体参见我们去年ACM MM的DemoPaper[2]。