目标:利用现有网络实现图像分割
实现:将所有全连接层FC 改为全卷积层FCN,kernel为1*1;原FC网络必须固定输入,改为FCN后不需要固定输入,若原图像更大则输出也由一个点变为一个矩阵。
这样的输出size会变小,为了使最终输出和原图像像素一样大,作者提出了三种方案:
1.使用deconvolution(反卷积)作为upsampling手段,stride为原图像subsample的stride。
2.不作upsampling,平移也可以使假设所有层总共stride为f(filter为f),那么output的一个点对应原图中f*f大小的区域中心,感受野为f*f。若将原图向右向下平移(平移范围为1-f个像素),可以使output对应到原图中另外的像素,最终获得原图一样的大小。但作者认为每一个output点的感受野还是很小,无法获取更大尺度的信息,不采用这种方法。
3.把filter做了放大变换,stride设为1,这样砍掉了subsampling,但是感受野变小(如有stride=10时,100x100映射为1x1,stride=1时,10x10对应1x1,特征图对应原图的感受野变小了
),而且增加了很多计算量。也不采用。
网络部分如图:
skip layer,不同层的结果做融合(后层全局信息,前层细节信息),得到最终的prediction。