数据正则化方法之 concrete dropblock

类内间距的存在，让现有的WSOD算法经常错误地将具有区分度的部分目标检出，而不是检出完整目标。一个自然的解决方法是让网络聚焦于整体内容，这可以通过丢弃图片中最具区分度的部分实现。所以，spatial dropout是一个合适的选择。

朴素的spatial dropout具有检测的局限性，因为随着目标在图片中的位置与大小的不同，目标具有区分度部分也不同。一个更结构化的dropblock被提出，其ROI特征图的空间点被随即采样为斑点中心（blob centers）,特征图中所有通道的围绕着中心HxH大小的方形区域被丢弃。最后，为被丢弃区域中所有ROI的特征值被一个因子重新量化，这样推理过程中没有区被被丢弃的时候，也不需要进行归一化操作了。

 

DropBlock是一个无参数的正则化技巧。它可以提升模型的鲁棒性，缓和区域性支配，但是它基本上对所有的区域都一视同仁。我们考虑以对抗的对支配区域以更高频率地丢弃。为此，我们提出了concrete dropblock:一个数据驱动的有参数的dropblock方法，其通过端到端的学习来对最相关的区域进行舍弃，如图三所示。给定一个输入图像，在ROI池化之前，每一个区域的特征图会被上层计算。 H是ROI池化输出的维度。我们之后将输入到卷积参差块中来生成概率图，其中theta归入米咯性的训练参数中。的每一个元素都被当作是独立的伯努力变量，并且这个概率图通过空间 Gumbel-Softmax算法转为硬掩模（hard mask）。这个操作是采样的近似可微。为了避免特殊情况（如整个区域都被丢弃或者某个区域持续被丢弃）我们引入一个阈值tao比如。这保证计算出了掩模是稀疏的。我们遵循dropblock来最终生成结构化的掩模并且对特征进行归一化。在训练中，我们联合优化原有的网络参数w还有残差块参数theta，下面是使用的最小化目标函数：

通过最小化关于concrete dropclock的原始损失，concrete dropblock会学习到将目标最具辨别性的部分丢弃，因为这是增加训练损失最简单的方法。我们发现这个策略可以提升性能，尤其是对于非刚性的目标类别，这种类别常常有非常大的类内间距。