基于神经网络的三维重建入门学习笔记1

一、对空洞（扩张）卷积的理解

空洞卷积：首先是诞生背景，在图像分割领域，图像输入到CNN（典型的网络比如FCN）中，FCN先像传统的CNN那样对图像做卷积再pooling，降低图像尺寸的同时增大感受野，但是由于图像分割预测是pixel-wise的输出，所以要将pooling后较小的图像尺寸upsampling到原始的图像尺寸进行预测（upsampling一般采用deconv反卷积操作），之前的pooling操作使得每个pixel预测都能看到较大感受野信息。因此图像分割FCN中有两个关键，一个是pooling减小图像尺寸增大感受野，另一个是upsampling扩大图像尺寸。在先减小再增大尺寸的过程中，肯定有一些信息损失掉了，那么能不能设计一种新的操作，不通过pooling也能有较大的感受野看到更多的信息呢？答案就是dilated conv。——空洞卷积的作用

在图像分割网络中有两个关键点：
1、pooling减少图片的尺寸增大感受野
2、通过upsampling扩大图片尺寸。
由于在先减少再增大的过程中肯定会有一些信息损失，为了减少由pooling带来信息损失，所以就提出空洞卷积，他能不通过pooling来增大感受野。
之前的卷积神经网络（Convolutional Networks）都是通过不断降低图像精度，直到图像被一个仅保留微弱空间信息的特征map表示（一般最后卷积层输出仅为7×7），最后通过计算类别概率来分类图像。这样情况下，尽管前面卷积网络做的很好，但是整个网络却不能获取一个十分精确的结果，例如一个很小的目标对解析图片信息十分重要，但是却被前面卷积网络因为过多降维和其体积很小而直接忽略掉了。
总结来说，Dilated Convolution可以不降低feature map的尺寸而增大卷积感受野。而之前例如FCN使用pooling下采样来增大感受野，但随后又不得不通过Deconvolution或者upsampling来增大特征map尺寸，这样先减后增的操作会让图片特征损失很多信息。
扩张卷积与普通卷积的相同点在于，卷积核的大小是一样的，在神经网络中即参数数量不变，区别在于扩张卷积具有更大