模仿人类自动上色！爱奇艺提出动画上色AI模型，每张只需0.7秒 | WACV 2021

先来看一张特别的“连连看”。

图一

上图这5帧幽灵公主的上色画面中，你能找出哪张图是AI画的，哪张是人类画师画的吗？

 

被难倒了吧？实际上，上边的一段动画上色图中，只有第一帧画面是人类画师画的，后面的画面都是AI根据第一帧生成的。

这是来自爱奇艺AI创作团队研究人员的最新成果——是基于镜头中的参考帧来进行上色的一种方法，简单来说，这个新模型仅根据一帧的颜色图参考，就能对片段中的其他线稿进行自动着色，完成一张最快只需要0.7秒！

现今，二次元文化已经从一个小众文化变成了流行的大众文化，看动画已经成为当代年轻人娱乐生活中的重要部分。但如今的动画制作的时间成本仍然比较费时，特别是上色部分，画师需要重复地对动画中人物动作的每一帧逐一进行上色，需要耗费大量的人力和时间。因此，爱奇艺提出一种新的动画上色模型来用于动画自动着色，针对对动画参考帧进行上色，以提高二维动画制作的效率。

名为《Line Art Correlation Matching Feature Transfer Network for Automatic Animation Colorization》相关研究论文已经被最新WACV 2021[1]峰会收录。WACV全称IEEE Winter Conference on Applications of Computer Vision，是全球计算机视觉领域的知名盛会。

论文链接????

https://arxiv.org/pdf/2004.06718.pdf

虽然我们都很崇拜宫崎骏或者新海城之类的动画大师，也为他们的动画作品的画面和情节的精彩感到惊艳，但二维动画制作背后充满了艰辛：传统动画上色流程长、人力耗费多。

二维动画制作的上色流程大概可以分为：

1.高级画师设计关键帧线稿；

2.中级画师补充中间动作帧线稿；

3.上色人员对片段中每一帧进行上色。

尤其是第三步属于重复的非创作性的工作，如果能用AI替代可以节省大量劳力和制作时间。

爱奇艺的研究人员发现，动画帧之间存在着很强的相关性，比如追逐的幽灵公主相邻帧间的结构都有相似性，只是身体位置和动作发生了变化，如果能获得帧间的相关性，我们就可以用一帧上好色的图片将颜色变换到其他待上色帧。另一种理解方式是对齐，我们需要将参考图的颜色对齐到未上色的线稿上。

研究者将这类问题建模成image analogy[3]问题，已知域中的图片和域