点击上方“机器学习与生成对抗网络”,关注星标
获取有趣、好玩的前沿干货!
文章来源 机器之心 编辑部
来自以色列特拉维夫大学的研究者在生成图像方面又有了新的升级,所用方法在保留源图像身份的同时,在细节编辑上实现了更精细的效果。
英伟达提出的风格迁移模型 StyleGAN 系列,一直是人们用来进行各类脑洞画图实验的流行工具。从生成二次元「老婆」,照片修图,到人物的卡通化,最近几年基于这种技术的应用不一而足。
然而 StyleGAN 也一直有着自己的不足,近年来的各种改进也未能让其在反向生成、细节编辑上实现精细的效果。什么时候我们才能让 AI 随心所欲地修改真人照片呢?
今年 6 月,这样的研究终于出现了。
在以色列特拉维夫大学的论文《Pivotal Tuning for Latent-based Editing of Real Images》中,研究人员通过添加一个简短的训练过程,让 StyleGAN 有了焕然一新的升级。
它的生成效果是这样的,生成更年轻和微笑的 Yann LeCun:
还有更年轻和面部旋转后的吴恩达:
下图中,输入小威廉姆斯、小罗伯特 · 唐尼以及小丑等人的照片,经过处理后,生成了微笑、换发型、老年、张嘴、去胡须、摆 pose 等多样化的形象:
不得不说,效果看起来真不错!
研究介绍
最近,一波先进的面部编辑技术被提出,这些技术利用预训练 StyleGAN 的图像生成能力。要用这种方法成功地编辑图像,必须首先将图像投影到预先训练好的生成器域中。然而,事实证明,StyleGAN 的潜在空间在失真和可编辑性之间产生了内在的折衷,即在保持原始外观和改变其某些属性之间需要折中。
实际上,这意味着将保留 ID 的面部潜在空间编辑应用于生成器域之外的面部仍然具有挑战性。在本文中,来自以色列特拉维夫大学的研究者提出了一种方法来弥补这一差距。该研究稍微改变了生成器,使得一个域外的图像如实的被映射到一个域内的潜码。该研究一个关键的调整,一个简短的训练过程,保留域内潜在区域的编辑质量,同时改变其描述的身份和外观。
论文地址:https://arxiv.org/pdf/2106.05744.pdf
GitHub 地址:https://github.com/danielroich/PTI
Colab 地址:
https://colab.research.google.com/github/danielroich/PTI/blob/main/notebooks/inference_playground.ipynb
在研究者提出的 PTI(Pivotal Tuning Inversion)中,初始反向潜码充当枢轴(pivotal),你可以围绕它微调生成器。同时,正则化项保持附近的身份信息不变,保持局部信息影响。这种训练过程最终会改变身份的外观特征,而不会影响编辑能力。为了补充这一点,该研究进一步表明,枢轴调整(pivotal tuning)还可以调整生成器以适应多个人脸,同时在域的其余部分引入可忽略的失真。
PTI 方法的示意图。
该研究主要是使用 StyleGAN 为真实图像提供生成高质量的编辑。由于 StyleGAN 的特性,可以对其生成的外观进行细微的局部更改,而不会损害其强大的编辑功能。因此,给定一张图像,可能外观看起来不正常(例如一个人处在极端的照明条件下,或浓妆艳抹,或夸张的发型和头饰),该研究建议在生成器的域内找到最近的可编辑点。然后这些点可以被拉向目标,对周围的域影响微乎其微,对其他域的影响也微乎其微。
实验
实验采用 StyleGAN2 生成器 ,对于面部图像,研究者使用在 FFHQ 数据集上预训练的生成器进行处理,并使用 CelebA-HQ 数据集进行评估。此外,该研究还收集了一些其他名人的图像,以突出显示该研究保持身份的能力。
研究者采用以下指标:像素级距离 MSE、感知相似度 LPIPS 、结构相似度 MS SSIM 、以及利用预训练的人脸识别网络实现身份相似度。结果如下表所示。可以得出在每个指标上,该研究都是最佳得分。
如下图所示,即使不考虑可编辑性,该研究的方法对所有的例子都获得了较好的重建效果,特别是域外的例子,因为该方法是唯一可以成功的重建具有挑战性的细节,如脸部绘画或手等细节。
此外,该研究提出的方法还能够重建很多细节,如妆容、光线、皱纹等。
图 6 显示了对 CelebA-HQ 数据集的编辑比较,演示了姿势(顶部)和微笑收敛(底部)编辑。由结果可得在 SG2 W + 上的编辑不会产生所需的效果,例如,底部行中的嘴没有闭合。SG2 和 e4e 实现了更好的编辑,但失去了原有的身份。PTI 在保持身份的同时实现了高质量的编辑。
【赠书福利】
编辑推荐
全景:囊括GAN起源、发展和演变的全貌;
插图:100余幅插图,图说GAN的原理;
实战:10余种有代表性的GAN案例代码。
【活动】
本次为大家免费寄送纸质正版图书!6月30日22点结束并开奖。
参与方法:
1、文末点 在看 !
2、公众号后台、或者扫以下码,回复 168 ,参与抽奖!
猜您喜欢:
CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 | 超100篇!CVPR 2020最全GAN论文梳理汇总!