论文阅读笔记:FCNN:Fully Convolutional Networks for semantic Segmentation

论文阅读笔记:FCNN:Fully Convolutional Networks for semantic Segmentation

论文下载地址:Fully Convolutional Networks for semantic Segmentation
CVPR 2015 best paper

本文主要包含如下内容:


核心思想


  论文首次提出了一种end-to-end(端到端)用于语义分割的“全卷积”网络,全卷积网络在 PASCAL VOC(在 2012 年相对以前有 20% 的提升,达到了62.2% 的平均 IU),NYUDv2 和 SIFT Flow 上实现了最优的分割结果。

  • 不含全连接层(fc)的全卷积(fully conv)网络,即将全连接层改为全卷积层。可适应任意尺寸输入。
  • 在 decode 上采样步骤中使用增大数据尺寸的反卷积(deconv)层(初始化参数为双线性插值滤波器)。能够输出精细的结果。
  • 结合不同深度层结果的跳级(skip)结构,同时确保鲁棒性和精确性。但同时引入了更大的参数量。将深的、粗糙的网络层语义信息和浅的、精细的网络层的表层信息结合起来,来生成精确的分割。(FCN 最重要的点)

网络结构


网络结构

  网络中后面的全链接层(fc6,fc7)被转化为卷积层,这就是“全卷积”网络,最后得到了一个较为粗糙的输出。
  举个例子说明全卷积层:如果 227 × 227 输入图像经过一系列卷积池化,得到图像对应的特征图,对其进行分类,将得到图像的类别信息。对于一个 500×500 大小的图像,我们可以用 10 × 10 个 227 × 227 的子图像块进行覆盖,这样就得到了 10 × 10 个特征图,分别对这些特征图进行分类,得到一个 10 × 10 的分割结果。
  FCN 在最后做了一个叫pixelwise prediction的预测,可以看到,输出图像和输入图像具有相同的尺寸,然而前面的网路使用了降采样。这里没有使用简单的双线性插值进行上采样,运用反卷积层(初始化参数为双线性插值滤波器)。这些卷积运算的参数可以在训练过程中学习得到。
  举个例子说明反卷积层:对 10 × 10 的分割结果,我们使用一个deconvolution layer反卷积层进行上采样到输入图像尺寸得到 FCN-32s 分割结果,即直接放大32倍。

skip layer
  在传统的分类 CNNs 中,池化操作用来增加视野,同时减少特征图的分辨率。这对于分类任务来说非常有用,因为分类的最终目标是找到某个特定类的存在,而对象的空间位置无关紧要。因此,在每个卷积块之后引入池化操作,以使后续块能够从已池化的特征中提取更多抽象、突出类的特征。
  另一方面,池化和带步长的卷积对语义分割是不利的,因为这些操作造成了空间信息的丢失。因此,论文中 FCN-8s 融合了不同粗糙度(conv3、conv4和fc7)的特征,利用编码器不同阶段不同分辨率的空间信息来细化分割结果。

  FCN-32s 再经过步长为32的上采样后,获得的预测结果比较粗糙,所以考虑加入了更多前层的细节信息。于是采用了skip layer的方法,将粗的高层信息和低层信息结合concatenation。在浅层处减小upsampling的步长,得到多个label map prediction,然后做融合(fushion)。但这个步骤引入了更大的参数量。
  FCN-16s结合了pool5层和pool4层的预测,upsampling的步长为16,让网络预测出更精细的细节,同时保留了高层语义信息。FCN-8s则结合了pool3层的预测,upsampling的步长为8,精度进一步提高。
  实际我们是这么干的:对pool4的输出使用一个 1 × 1 卷积层进行分类(这里使用 1*1 卷积核进行降维处理,是为了保持与后面特征图具有相同的通道数),得到一个分割结果图B(经过 crop 裁剪),然后再对conv7的分割结果A进行 2 × upsampling layer 得到一个放大2倍的分割结果图A2, 将这两个分类置信度图求和相加得到了一个分割结果图C(求和 sum,通道数不变),最后使用一个 deconvolution layer 进行双线性上采样到输入图像尺寸得到 FCN-16s 分割结果,直接放大16倍。(注意:是对特征图进行相加求解)


实验结果


  实验结果
  实验结果表明,FCN-16s将平均IU(region inntersection over union)有效提高到62.4,提高了一定的精度。FCN-8s则在平均IU上获得了一个较小的提出,到达了62.7,在平滑度和输出细节上有轻微的提高。
  实验结果
  数据集(PASCAL VOC):这个表格给出了FCN-8s在图像识别与物件分类的挑战赛PASCAl VOC20112012测试集上的表现,将它和SDS和R-CNN算法进行比较。FCN-8s有较好的效果。
  实验结果
  数据集(NVUDv2):NVUDv2是一种通过利用Microsoft Kinect收集到的RGB-D数据集,含有语义分割任务的pixelwise标签。
  实验结果
  数据集(SIFT-FLOW):图像语义分割与几何语义分割数据集
  实验结果
  图像识别与物体分类挑战赛PASCAL的部分结果图,FCN-8s分割的效果很好。可以直观地看出,本文方法和Groud truth相比,容易丢失较小的目标和局部的细节信息,比如第一幅图片中的汽车,和第二幅图片中的观众人群
  实验结果


网络结构图


layer {
  name: "score_pool4"
  type: "Convolution"
  bottom: "pool4"
  top: "score_pool4"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 21
    pad: 0
    kernel_size: 1
  }
}
layer {
  name: "score_pool4c"
  type: "Crop"
  bottom: "score_pool4"
  bottom: "upscore2"
  top: "score_pool4c"
  crop_param {
    axis: 2
    offset: 5
  }
}
layer {
  name: "fuse_pool4"
  type: "Eltwise"
  bottom: "upscore2"
  bottom: "score_pool4c"
  top: "fuse_pool4"
  eltwise_param {
    operation: SUM
  }
}
layer {
  name: "upscore_pool4"
  type: "Deconvolution"
  bottom: "fuse_pool4"
  top: "upscore_pool4"
  param {
    lr_mult: 0
  }
  convolution_param {
    num_output: 21
    bias_term: false
    kernel_size: 4
    stride: 2
  }
}
layer {
  name: "score_pool3"
  type: "Convolution"
  bottom: "pool3"
  top: "score_pool3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 21
    pad: 0
    kernel_size: 1
  }
}
layer {
  name: "score_pool3c"
  type: "Crop"
  bottom: "score_pool3"
  bottom: "upscore_pool4"
  top: "score_pool3c"
  crop_param {
    axis: 2
    offset: 9
  }
}
layer {
  name: "fuse_pool3"
  type: "Eltwise"
  bottom: "upscore_pool4"
  bottom: "score_pool3c"
  top: "fuse_pool3"
  eltwise_param {
    operation: SUM
  }
}
layer {
  name: "upscore8"
  type: "Deconvolution"
  bottom: "fuse_pool3"
  top: "upscore8"
  param {
    lr_mult: 0
  }
  convolution_param {
    num_output: 21
    bias_term: false
    kernel_size: 16
    stride: 8
  }
}
layer {
  name: "score"
  type: "Crop"
  bottom: "upscore8"
  bottom: "data"
  top: "score"
  crop_param {
    axis: 2
    offset: 31
  }
}

  可以看到,这里一共做了三个步骤,1*1 卷积核降维,crop 裁剪特征图,Eltwise 两个特征图求和操作,Deconvolution 反卷积上采样操作。

  • 4
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值