fcn语义分割 论文

全卷积网络：

个人认为本文主要是两个重点：

第一是fcn，全卷积网络（+上采样）

第二是skip net

首先说全卷积网络：

通常cnn在卷积层后会接上若干全连接层，但是全连接层和卷积层的连接数量是固定的，这也就导致了输入必须是固定的尺寸。如下图所示：

但是在fcn中将fc用卷积取代，再加上采样层，这样能够输入任何大小的图片，同时输出图片相应大小的语义分割。如下图所示：

可以看到两站图中的红色部分略有不同，这是因为第一幅图中通过全连接层，已经破坏了卷积层输出feature map的空间结构，而第二幅图中通过全卷积网络保持了feature map空间结构，在通过反卷积完全可以恢复原图像中目标的空间位置，也成为heat map。从下图中可以看出heat map中的标记与原图中cat的位置相似。

那作者是如何将fc层替换为全连接层呢？这就样引出卷积层和全连接层可以相互转化的关系了。

卷积--------》全连接 ：全连接矩阵是一个非常巨大的矩阵，很明显，全连接层的连接数量要远远多于卷积层，所以就可以通过将某些连接置0，使其模拟卷积。

全连接-------》卷积：例如将100x100x1的feature map通过全连接输出1000大小的一维向量，就可以将每一个输出看做一个卷积的结果，而卷积的核大小为100x100。

将fc都用conv替换后，接下来就是上采样（很多博客称为反卷积，但是为了区别可视化中的反卷积还是称为上采样了好了）。引用一张cs231n中的ppt，

通过输入设置卷积的权重，然后在输出中相加。类似于插值的思想。（ps：既然如此那能够使用反卷积网络搭建一个可学习的插值器，理论上这比采用人工设计的插值要好很多，不知道现在有没有人做）。

当然整个卷积网络是可以使用反向传播的。

其次是skip net：

虽然作者在文中也并不是那么重点地讲，但是这种思想还是可以学习的。如下图：

在卷积网络（包括卷积、池化）中，层数越深，感受野越大，学习到的特征就越概括，作者称之为coarse（粗糙）。fcn-32s从pooling5上采样，而结果也显示细节处理很不好。如下图：

作者通过将低层和高层进行连接，最终可以将低层的图像细节加到粗糙的轮廓中，如上图。具体怎样连接的可以看图。

当见过skip net这种结构的时候，再见到下图的结构也就不懵逼了。

https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/