关于BN层在颜色恒常性任务中的思考

关于BN层在颜色恒常性任务中的思考

纵观已有的颜色恒常性算法，从15年AlexNet[1]，到后来的FC4[2]，其网络中都没有出现BN层，以及2020年的两篇CVPR（华为，港理工）也同样如此。看过其他领域的（尤其是目标检测、分类）网络，大多都会引入Batch Normalization，其作用也在ResNet论文中进行了总结，好处多多，不再赘述（面试被问透了的东西）。因此在思考，为什么颜色恒常性领域弃用了该操作。经过一番实验，个人理解如下，仅供参考，欢迎大佬指正。

[1] Bianco S , Cusano C , Schettini R . Color Constancy Using CNNs[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2015.
[2] Hu Y , Wang B , Lin S . FC^4: Fully Convolutional Color Constancy with Confidence-Weighted Pooling[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.

下图是训练过程中训练集的AE变化和验证集的AE变化情况，验证集AE变化非常剧烈，震荡严重，后期过拟合的AE值也非常大。

1. 网络深度问题

颜色恒常性领域所用的模型大都比较简单，其深度往往没有ResNet那样的深度，因此，从必要性角度来说，不需要使用BN层来加速训练，网络也一般不会出现梯度爆炸（消失）问题。

2. 特别的对于颜色恒常性任务本身不适用

最近将VGG第一层+BoTNet Block+1x1卷积+GAP进行了模型搭建，其中保留了原BoTNet设计时的BN层，训练出现了以下奇怪的现象：
训练集的loss和AE（Angular Error）随着训练的进行都在下降，而验证集的AE几乎没有什么变化。并且，验证集的AE基本与初始化相关，不同的初始化导致验证集AE始终保持在某一数值范围内。

原本以为是过拟合，遂减少BoTNet Block数量，从12->3->1，发现该现象仍然出现。

从原理上分析，所设计的模型的任务是判断输入图像已被白平衡的概率，因此使用BN层，将导致图像特征在整体上获得归一化，该归一化过程破坏了本任务最重要的特征，即，颜色恒常性问题的最大有效特征体现在特征在特征空间上的整体偏移情况。因此，BN不适用于颜色恒常性任务。

移除BN层，该现象得到缓解，基本上验证集随测试集趋势变化，也进一步说明了BN层不适用于该任务。