众所周知,深度学习里的卷积运算是具有平移等变性的,这样可以在图像的不同位置共享统一的卷积核参数,但是这样卷积学习过程中是不能感知当前特征在图像中的坐标的,论文中的实验证明如下图所示。通过该实验,作者证明了传统卷积在卷积核进行局部运算时,仅仅能感受到局部信息,并且是无法感受到位置信息的。CoordConv就是通过在卷积的输入特征图中新增对应的通道来表征特征图像素点的坐标,让卷积学习过程中能够一定程度感知坐标来提升检测精度。
反方向和第三个发现:监督式回归对CNN同样很难
所以为什么网络很难定位一个像素呢?是因为从小空间到大空间的所以为什么网络很难定位一个像素呢?是因为从小空间到大空间的转换很困难吗?如果朝一个方向会不会容易点呢?如果我们训练卷积网络将图像信息转换成标量坐标,是否与普通图像分类更相似呢?
结果模型在这种监督式回归的任务上同样表现得不好。在图10中,左边图中的点表示正确的像素坐标,中间图中的点表示模型的预测。模型在测试集上表现得不好,并且在训练集上也差强人意。
简单地说,方向根本不重要。
所以,这一看似简单的坐标转换任务在卷积网络身上主要有两个问题:从笛卡尔空间转换到one-hot像素空间及其他方式上。即使用监督式方法进行训练,即使只有一个像素,即使所有的训练案例很容易获得,卷积仍然学不会顺利转换。另外,表现最好的卷机模型体积巨大,训练耗时很长。
CoordCo