0.7秒,完成动漫线稿上色

点击 机器学习算法与Python学习选择加星标

精彩内容不迷路

量子位 报道 | 公众号 QbitAI

给一张这样繁复的线稿

一步步填上颜色、赋上光影

你猜需要多长时间?

答案是最快0.7秒。

没错,这又是AI的手笔。厚涂不在话下,换种漫画上色风格,只要给出示例,这只AI也能迅速get到灵魂。

而这,还不是Ta的全部实力。有别于业内针对静态漫画的上色AI,这个来自爱奇艺的智能上色引擎,还能用来给动态漫画赋上前后风格统一的色彩。

所以,这样一只AI的「上色灵感」源自何处?我们照例一起扒一扒背后的技术~

理解线稿,精细上色

想要学会上色,AI首先要明白线稿为何物。

爱奇艺工程师们的做法,是在基于GAN的模型中引入注意力机制语义参考模块,使得AI能够自动识别人类画师给出的线稿。如下图所示,智能上色引擎能get到眼球、斧头等各个部分完整的语义信息。

看懂了线稿,就可以进入到上色环节了。为了使得上色效果精准,并在多帧情况下保持各帧风格的一致性,爱奇艺工程师们祭出了以下几招:

  • 根据具体需求调整网络结构,使模型与数据更加匹配

  • 设计色彩参考模块和风格参考模块等预处理模块,提高上色图片的色彩丰富度和风格统一性

  • 多种loss相结合,实现像素级别的精细匹配和上色。

具体的上色手法,就像这样:

虽然啪一下很快的,但其实爱奇艺智能上色引擎对人类老司机很「讲武德」——提供了分图层的输出模式,专业画师可以轻松在AI的基础上灵活调整上色细节。

需要说明的是,在给动态漫画上色的过程中,AI倒是也「参考」了一些人工上色的方法,比如背景和特效大多可以重复使用,上色模型可以只专注于对人物进行上色。

另外,值得一提的是,在打磨上色算法的过程中,工程师们也积累下了一套线稿数据生产系统。

对于用户而言,基于爱奇艺智能上色引擎获取到的数据,可以构建线稿数据库和不同风格的动态漫画数据库。

自动动画上色模型

看到这里,你可能会有这样一个疑问:这样的AI能应用在动态漫画的制作过程中,那么更高难度的动画呢?

最近,爱奇艺在一篇WACV 2021论文中,通过最新的研究进展,展示了未来的一种可能性。(论文地址见文末)

研究人员发现,动画帧之间存在着很强的关联性,很多只是身体位置和动作发生了变化,如果能获得帧间的相关性,只需要一帧上好色的图片,就能将其颜色变换到其他待上色帧,减少大量重复、非创造性的劳动。

为此,研究人员设计了一种相关匹配特征转移模型,称为:基于相关性匹配的特征迁移模块,Correlation Matching Feature Transfer(CMFT),来将参考帧的颜色特征与待上色帧进行对齐。

并且,研究人员将该模型以coarse-to-fine的方式嵌入到基于U-Net的生成网络中,逐步对匹配的特征进行细化和修正。

实验表明,在帧间一致性和上色质量上,这只AI都超越了前辈。这也就意味着,AI自动上色技术未来还可能在更为复杂的动画领域大展身手。

当然啦,在这个过程中,想要实现AI和创作者习惯之间的无缝衔接,让AI模型能「摸透」创作者的想法,还是少不了算法研究者和动漫创作者之间的紧密交流、合作。

推动动漫工业化新流程

转回当下,像爱奇艺智能上色引擎这样的AI,其实已经开始在产业中发挥价值。

事实上,熟悉动漫画制作过程的小伙伴都知道,线稿上色这一步处于脚本创作、分镜和线稿之后,随着剧情的推进,动漫内容需要不断去更新延续,在流程中存在重复劳动环节,工作量巨大。

在2020年中国二次元用户规模有望突破4亿的背景之下,对于动漫产业而言,人工成本的攀升和有限的上色效率,目前已经成为限制动漫产量提高的一大障碍。

而爱奇艺智能上色引擎这样已经实际落地到动态漫产业中的AI,恰恰为解决这一矛盾带来了一种全新的可能性:改变传统工作方式,把创意交给人类,把重复交给AI。

爱奇艺表示,相较于纯人工上色,智能上色引擎预计可在动态漫制作上色环节中,节省约30%的人力。

除此之外,对于专业上色画师而言,这样的AI或许也能够提供参考,激发新的灵感,甚至衍生出更多更有意思的玩法。

论文链接:https://arxiv.org/abs/2004.06718

免责声明:本文内容来源于网络,文章版权归原作者所有,意在传播相关技术知识&行业趋势,供大家学习交流,若涉及作品版权问题,请联系删除或授权事宜。

  • 你点的每个“在看”,我都认真当成了AI

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值