BARGAINNET: BACKGROUND-GUIDED DOMAIN TRANSLATION FOR IMAGE HARMONIZATION

BARGAINNET: BACKGROUND-GUIDED DOMAIN TRANSLATION FOR IMAGE
HARMONIZATION

摘要

给定一张前景与背景不和谐的拼接图片，图像和谐化旨在将前景调整为与背景相匹配。之前的图像和和谐化方法主要关注将合成图像映射到真实图像中，而忽略了背景的关键指导作用。在本文中，我们将图像和谐化任务转化成背景指导的域迁移任务。特别地，我们用一个域编码提取器在提取背景域信息来指导前景和谐话，这由精心设计的三元组损失来实现。我们在数据集上的充分实验验证了所提方法的有效性。代码公开在添加链接描述。

介绍

本文中，我们在实例指导的域转移基础上进一步将该问题细化为局部区域的指导，如：背景指导的域转移。如图1（b）所示，合成图的背景和前景域属于不同的域。在所提取的背景域信息的指导下，合成图的前景域可以转移到背景域，从而产生和谐化的输出图。
我们从一个新的角度来解决图像和谐话的问题，其中一个主要的贡献是提出了Background-guided domain translation Network,缩写为BargainNet.由于partial convolution仅关注于一个局部区域的特征合成，我们在域特征提取中利用partial convolution提取背景域信息，这可以避免前景和背景间的信息泄露。所得背景域的特征决定了目标域（即背景域为目标域）并指导前景域的转移。利用目标域特征进行域转移的方法有很多种。简单起见，我们将背景域特征调整为与输入图像相同大小，并根据通道维度将他们整合起来。融合后的输入和前景mask一起输入到注意力强化的U-net生成器来产生和谐化后的结果。同时，我们提出了精