《Information Bottleneck Disentanglement for Identity Swapping》论文阅读

《Information Bottleneck Disentanglement for Identity Swapping》论文阅读

来源：CVPR2021

地址：https://openaccess.thecvf.com/content/CVPR2021/papers/Gao_Information_Bottleneck_Disentanglement_for_Identity_Swapping_CVPR_2021_paper.pdf

作者演讲视频：https://cloud.tencent.com/developer/article/1821014

一篇使用信息瓶颈理论来提纯人脸身份信息，最终实现人脸身份（Identity）与其他内容信息（Perception）解耦，从而可控地进行人脸身份信息交换的工作。

1 Motivation

1） 现有的人脸交换方法效果不够理想，身份信息与内容信息存在纠缠，导致人脸交换的效果不够理想；

2） 内容信息中包含了多种属性信息，进行详细的有监督属性控制较为困难；

2） 信息瓶颈理论对于信息的提纯与压缩，可以辅助解耦工作的完成。

2 Contribution

1） 使用信息瓶颈理论实现了身份信息与内容信息的进一步分离；

3） 获得了高质量和鲁棒的图像生成结果。

3 Approach

3.1 问题定义

这篇文章将用于生成合成图像的原始图像分成两部分，source图像$X_s$提供身份信息，target图像$X_t$提供内容信息，希望生成图像$Y_{s,t}$保留$X_s$的身份，同时保留$X_t$中的内容。

理想的身份信息表征是什么样子呢？这篇文章的作者从向量空间的角度进行了说明：

对于图像的身份编码$z_{id}$，$z_{id}^s$与$z_{id}^t$将会在向量空间中形成一个夹角，下图中绿色的虚线是二者夹角的角平分线。作者认为，如果合成图像较好地保留了$X_s$的身份信息，那么$z_{id}^Y$将位于以$z_{id}^s$为中心的临近区域内，如果合成图像中混合了$X_s$与$X_t$的身份信息，那么$z_{id}^Y$将位于角平分线附近。

因此，对于合成图像$Y_{s,t}$的身份编码$z_{id}^Y$，它的优化目标是，尽可能与相近 z i d s z_{id}^s z