2.语义分割网络-SegNet

最新推荐文章于 2024-05-31 14:20:50 发布

MYVision_ MY视界

最新推荐文章于 2024-05-31 14:20:50 发布

阅读量596

点赞数 1

分类专栏：语义分割

本文链接：https://blog.csdn.net/fengshengwei3/article/details/103366846

版权

语义分割专栏收录该内容

10 篇文章 0 订阅

订阅专栏

一 SegNet的网络结构

二对网络结构的说明

应用VGG16框架，去掉全连接层，搭建对称模型。

左测是卷积提取特征，通过pooling增大感受野，同时图片变小，该过程称为Encoder，右边是反卷积与upsampling，通过反卷积使得图像分类后特征得以重现，upsampling还原到图像原始尺寸，该过程称为Decoder，最后通过Softmax，输出不同分类的最大值，得到最终分割图。

三主要内容

1.主要贡献

Pooling的时候会把选取元素的坐标记录下来，在上采样的时候应用这个坐标来恢复空间信息

2.对主要贡献的说明

Pooling&Upsampling（decoder）：
Pooling在CNN中是使得图片缩小一半的手段，通常有max与mean两种Pooling方式，下图所示的是max Pooling。max Pooling是使用一个2x2的filter，取出这4个权重最大的一个，原图大小为4x4，Pooling之后大小为2x2，原图左上角粉色的四个数，最后只剩最大的6，这就是max的意思。
在SegNet中的Pooling与其他Pooling多了一个index功能（该文章亮点之一），也就是每次Pooling，都会保存通过max选出的权值在2x2 filter中的相对位置，对于上图的6来说，6在粉色2x2 filter中的位置为(1，1)(index从0开始），黄色的3的index为(0，0)。同时，从网络框架图可以看到绿色的pooling与红色的upsampling通过pool indices相连，实际上是pooling后的indices输出到对应的upsampling（因为网络是对称的，所以第1次的pooling对应最后1次的upsamping，如此类推）。
Upsamping就是Pooling的逆过程（index在Upsampling过程中发挥作用），Upsamping使得图片变大2倍。我们清楚的知道Pooling之后，每个filter会丢失了3个权重，这些权重是无法复原的，但是在Upsamping层中可以得到在Pooling中相对Pooling filter的位置。所以Upsampling中先对输入的特征图放大两倍，然后把输入特征图的数据根据Pooling indices放入，下图所示，Unpooling对应上述的Upsampling，switch variables对应Pooling indices。