处理appearance gap很大的图像伪造,比如说复杂的光照条件和肤色
把appearance mapping 定义为一个最优传输问题,在特征空间和像素空间
a relighting generator来模拟最优传输,
1通过求特征空间中学习到的特征的Wasserstein distance最小值。
2在像素空间采用一种segmentation game to 最小化Wasserstein distance。
通过操纵直方图分布,即将源图像的直方图分布映射到目标图像的直方图分布,我们不仅可以捕捉到颜色差异,而且可以保留源图像的结构。
传统OT:直接将OT应用到身份转换还是有问题的,1)计算不平衡像素直方图图像之间的OT可能会产生不匹配的映射,进而产生合成图像不连续ab
2)在传输过程中忽略了面部几何信息,使得细粒度外观信息转换困难。cd
3)计算负担大
Appearance Optimal Transport,AOT可以应用在一些换脸方法上。
两路的Perceptual encoder将图片编码成高级特征,
从3D fitting model中提取相应坐标和法线代表面部几何信息和灯光初始信息。
除此之外,a Neural Optimal Transport Plan Estimation在特征空间最小化Wasserstein distance(WD)
随后a relighting generator decodes 特征到像素空间,并且通过a 分割策略优化结果。
额外知识:
1.关于Wasserstein distance
(1)total variation
(2)KL散度
首先注意到KL散度不是距离度量,它不满足对称性。
(3)wasserstein distance
优点:能够很自然地度量离散分布和连续分布之间的距离;
不仅给出了距离的度量,而且给出如何把一个分布变换为另一分布的方案;
能够连续地把一个分布变换为另一个分布,在此同时,能够保持分布自身的几何形态特征;