1.什么是语义分割?
语义分割是在像素级别理解图像。
3.详解
传统CNN是利用卷积层+池化层+全连接层最后用softmax实现分类。而FCN则将CNN中的全连接层替换为卷积层,故称为全卷积神经网络(Fully Convolutional Networks)。
Upsample:简单来说就是pooling的逆过程upsample采样后数据数量增多。FCN作者在论文中讨论了3种upsample方法,最后选用的是反卷积的方法(FCN作者称其为后卷积)使图像实现end to end,可以理解upsample就是使大小比原图像小得多的特征图变大,使其大小为原图像大小。
上图的第一行是进行了conv1-5和pool1-5之后在进行conv6-7,此时feature map大小为1*1,故进行了一次放大32倍的upsample(原图是32*32)
第二行是将conv7变为2*2后与poo4 进行merge操作,然后进行一次放大16倍的upsample
第三行是将conv7、pool4变为4*4后再与pool3进行merge操作然后进行一次放大8倍的upsample。
三种效果如下图所示