均值归一化_用于图像修复的区域归一化：中科大IMCL团队提出Region normalization(RN)来解决图像修复问题...

                                                                                                                                                                                                                 

论

文

推

荐

IMCL成果速递

【编辑】俞涛，黄诗钰

【单位】IMCL (Intelligent Media Computing Lab, 中国科学技术大学智能媒体计算实验室)

论文链接：https://arxiv.org/pdf/1911.10375.pdf
代码地址：https://github.com/geekyutao/RN

摘要

    特征正则化(FN)是帮助神经网络训练的一个重要技术，它通常是跨空域对特征进行正则化。大多数之前的图像修补方法都直接将FN应用到它们的网络中，却没有考虑输入图像上缺失区域对FN的影响，比如均值和方差的漂移。在本工作中，我们证明这种由全空域FN引起的均值和方差的漂移限制了图像修补网络的训练，同时，我们提出了一种称为区域归一化(RN)的空间区域性归一化方法来克服该限制。RN根据输入的掩膜(mask)将空域上的像素分成不同的区域，再为正则化计算每个区域的均值和方差。针对图像修补任务，我们开发了两种形式的RN：(1)基础版RN(RN-B)，它根据原始输入的修补掩膜分别对缺失和未缺失区域的像素进行归一化，以解决均值和方差漂移问题；(2)可学习的RN(RN-L)，它自动地检测潜在的缺失和未缺失的区域以便分别进行正则化，并且使用全局的仿射变换去增强两个区域的融合。我们分别将RN-B应用到网络的浅层，将RN-L应用到网络的深层。实验表明我们模型在主观和客观效果上都超过了当前最好方法。我们进一步将RN泛化到其他模型上，并且取得了一致的性能提升。

论文简介

    图像修补旨在重建出输入图像的缺失部分，它在图像编辑中有广泛的应用。之前的基于学习的图像修补算法在使用特征归一化方法(例如BN，IN)时，忽略了图像修补任务的特殊性 -- 输入图像空域上有缺失区域，这导致在正则化计算均值和方差的时候会与图像真实的均值和方差产生偏移。在这篇工作中，我们先从理论上证明了这种均值和方差的漂移会限制网络训练，为此，我们提出了我们区域正则化(RN)模型。RN有两个版本：RN-B和RN-L，我们对它们进行了深入的分析和广泛实验，结果都表明RN效果显著，且几乎即插即用。

    列举一下文章中的motivation/contribution:
1.无论从理论上还是实验上，我们都表明现有的全空域归一化方法对于图像修复来说不是最优的。
2.据我们所知，我们是第一个提出空间区域性正则化的人，即区域正则化(RN)。
3.我们提出了两种用于图像修补的RN，并实现了当前最好的图像修补技术。

方法介绍

1.RN的Motivation
(1)RN的理论分析
我们在文章中建立了图像修补和特征正则化的数学模型，从数学上证明了之前的全空域正则化在网络训练中更容易饱和，梯度更不稳定，而我们的RN可以解决这个问题，具体数学分析可参考文章3.1节。

(2)RN的数学表达

2.基础版RN(RN-B)
RN-B按照公式(13)去分割损失区域和未损失区域，也就是根据给定的下采样的修补掩膜来分割区域。

3.可学习的RN(RN-L)

    RN-L是一个完全即插即用的模块，它可以自动去计算潜在的两个不同区域，然后再在计算出来的两个区域上分别进行正则化和统一的全局仿射变换。这样，既能解决均值、方差漂移问题，又能促进损失区域和非损失区域信息的融合。

4. 网络结构
    我们的base model是Edge Connect(EC) [1]，它是当前最好的图像修补模型之一。注意这里我们只采样用EC的图像修补模型，没有用其边缘网络。我们将RN-B用在网络的浅层，将RN-L用在网络的深层。因为随着网络的加深通过对原始输入的掩膜下采样得到的掩膜很难再于实际的损失区域和非损失区域对齐，所以需要用RN-L学习潜在掩膜。

实验结果

1.我们首先拿我们的模型跟当前最好的一些模型以及基础模型(相同网络结构，但不使用RN)比较。

2.我们还跟之前全空域的正则化方法以及不使用正则化的方法比较。

3.RN几乎即插即用，我们还将RN泛化到别的模型上。

4. 实际应用场景。

更多实验(消融实验等)可以去我们的文章查阅。

文章总结

      RN简单有效，很适用于图像修复任务，显著地提高了图像修补网络的训练。在实际实现中，RN其实可以基于IN也可以基于BN，本文中使用的是基于IN的RN。但是在后续的探索中，我们发现基于BN的RN在很多场景中也有自己的优势，详情请看关于此的讨论(https://github.com/geekyutao/RN/issues/12)。