论文:https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1807.03247
一、背景
最近发现了一篇18年Uber美团发的一篇文章,针对卷积操作的改进。论文中提到,卷积网络在坐标变换上的缺陷限制了它的性能提升,即:它无法将空间表示转换为笛卡尔空间中的坐标和one-hot像素空间中的坐标。具体原因请参考论文,这部分没有研究,毕竟只是拿来用,且恰好有用而已。
二、针对此问题,论文中提出解决方法:
由于卷积是等变的,也就是说当每个过滤器应用到输入上时,它不知道每个过滤器在哪。我们可以帮助卷积,让它知道过滤器 的位置,这一过程需要在输入上添加两个通道实现:一个在i坐标,另一个在j坐标。如下为CoordConv卷积图:
论文认为,卷积获得成功的原因主要依靠三个元素:运用相对较少的学习参数、在GPU上计算速度很快、学习函数符合平移等变性。
CoordConv保留了前两种特点——较少的参数和高效的计算。如果坐标的权重变为零,CoordConv就和普通卷积没什么区别。另一方面,如果平移依赖对下游任务有用的话,它也同样可以学习。
由以上分析可知:CoordConv工作原理是通过使用额外的坐标通道,让卷积访问自己的输入坐标。CoordConv允许网络学习完全翻译不变性或不同程度的翻译依赖性。
它在输入特征图,添加了两个通道,一个表征