丰色 发自 凹非寺 量子位 | 公众号 QbitAI
把自拍变漫画：
不止支持一种面部风格：
任凭小姐姐怎么“全身大比划”，效果都能保持稳定，全程“不掉线”：
不止人脸，连全身和背景也都全部照顾到了。
这，就是最近在Reddit上大火的一个自拍变漫画AI，不到一天就收获了1800+赞。
什么来头？
自拍变漫画，人脸、全身、背景都照顾到
这个AI叫WebtoonMe，基于深度学习技术将图像翻译成漫画风格。
熟悉的朋友可能知道，Webtoon，web+cartoon，也就是“网页版漫画”，是漫画的一种呈现形式，出自韩国。
这个自拍变身漫画AI的技术团队也来自韩国。
一开始，他们只做了人脸转换，后来打算把背景也包括进去。
不过问题就来了：照片中的各种物体（如面部、身体部位、衣服、背景等）的风格属性都不太一样，如何输出统一的结果呢？
作者采访了几位webtoon的创作者后了解到，webtoon的“前景”和“背景”是用不同工具制作的，为了让两者更自然地融合，后期也添加了不少修饰。
因此，他们将这个AI分为面部转换和背景转换两部分，即一个背景生成器+一个面部生成器，把人脸裁切出来和背景分别处理。
具体来说，他们先构建了一个webtoon数据集，这个数据集由人脸、身体部位、物体和自然背景等不同部分组成。
然后创建了各种深度学习模型，用来减少前景和背景元素之间的风格差异。
最后又模仿了不同webtoon创作者的修饰技术，通过几种后处理算法，让生成的结果更自然、质量更高。
具体的技术细节我们还未可知，目前也还没有开放试用链接。
不过看起来让很多心动的背后，一些细心的网友仅通过几张示例就发现了一些问题。
眼睛的效果还需改进
就比如这个眼睛，很多网友表示有点恐怖啊，一直直视前方，眼球动也不动。
如果能模仿眼球转动、眨眼睛、眯眼等眼部动作，效果肯定会更好。
此外，抛去这一点，脸部和背景处理得都还不错，就是这个身体部位风格化得不够彻底，还是有点像真人。
倒是这个AI的稳定性值得让人夸赞。
哦，还有一点美中不足，有网友“惋惜”：
要是这个AI还没取名字就好了，不然就可以叫WaifuNet了……[旺柴]
One More Thing
要说这人物变动漫的AI，一直都层出不穷。
就比如前不久的AnimeGAN2，采用神经风格迁移+GAN，由湖北工业大学的三位学生和老师开发，也是大火，一度需要网友排几小时大队才能看一眼自己在动漫里的样子。
AnimeGAN2的风格和今天的这个WebtoonMe不太一样，变换重点也只包括人脸，所以眼部跟踪做的挺好。
不过面对不够高清的人脸时，效果一般。
两者各有所长吧，你喜欢哪一种呢？
参考链接：
[1]https://webtoon.github.io/WebtoonMe/en
[2]https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/
猜您喜欢：
附下载 |《TensorFlow 2.0 深度学习算法实战》
扫一扫
1139
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
