AOT

       处理appearance gap很大的图像伪造,比如说复杂的光照条件和肤色

       把appearance mapping 定义为一个最优传输问题,在特征空间和像素空间

       a relighting generator来模拟最优传输,

1通过求特征空间中学习到的特征的Wasserstein distance最小值。

2在像素空间采用一种segmentation game to 最小化Wasserstein distance。

       通过操纵直方图分布,即将源图像的直方图分布映射到目标图像的直方图分布,我们不仅可以捕捉到颜色差异,而且可以保留源图像的结构。

      传统OT:直接将OT应用到身份转换还是有问题的,1)计算不平衡像素直方图图像之间的OT可能会产生不匹配的映射,进而产生合成图像不连续ab

2)在传输过程中忽略了面部几何信息,使得细粒度外观信息转换困难。cd

3)计算负担大

      Appearance Optimal Transport,AOT可以应用在一些换脸方法上。

     两路的Perceptual encoder将图片编码成高级特征,

    从3D fitting model中提取相应坐标和法线代表面部几何信息和灯光初始信息。

     除此之外,a Neural Optimal Transport Plan Estimation在特征空间最小化Wasserstein distance(WD)

    随后a relighting generator decodes 特征到像素空间,并且通过a 分割策略优化结果。

额外知识:

1.关于Wasserstein distance

(1)total variation

(2)KL散度

首先注意到KL散度不是距离度量,它不满足对称性。

(3)wasserstein distance

优点:能够很自然地度量离散分布和连续分布之间的距离;
          不仅给出了距离的度量,而且给出如何把一个分布变换为另一分布的方案;

          能够连续地把一个分布变换为另一个分布,在此同时,能够保持分布自身的几何形态特征;

     

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值