分割概述&语义分割FCN论文笔记

论文名

• Fully Convolutional Networks for Semantic Segmentation（语义分割中的全卷积网络）

概念辨析

• 语义分割： 将北京和所有个体都分割出来，但同类个体是一样的，如下图b所示（所有车是一个颜色、所有人是一个颜色等）
• 实例分割： 去掉背景，且对于每个个体都采用不同的编号，如下图c所示
• 全景分割： 前两个的结合，不去除背景，但每个个体都采用不同的编号，如下图d所示
  ※ 下图来自深度之眼学习视频
  

深度学习代表问题

• 不匹配关系： 如下图所示，有的算法，可能会将水边的船可能会判断为汽车
  

• 不寻常类： 下图所示，有的算法可能会将床上的枕头和床划分为一类
  

语义分割常用数据集

语义分割常用指标

• PA像素精度： 标记正确的像素占总像素的比例
• MPA均像素精度： 计算每类内被正确分类像素数的比例，再求所有类的平均
• MIOU： 平均交并比

论文成果

• 将分类网络改变为全卷积神经网络，具体包括全连接层及通过反卷积进行上采样
• 迁移学习 的方法进行微调
• 使用 跳跃结构 使得语义信息和表征信息相结合，产生准确而精细的分割

分割术语

• 像素级别（pixel-wise）： 每张图片都是由像素组成，像素是图像的基本单位
• 图像级别（image-wise）： 比如一张图片的标签是人，‘人’是对整个图片的标注
• == 块级别（patch-wise）：== 介于像素和图像级别之间，每个块都是由好多个像素组成的
• == patchwise training：== 对每一个感兴趣的像素，以它为中心取一个patch（小块），然后输入网络，输出为该像素的标签
• 局部信息： 感受野小，解决‘是什么’的问题
• 全局信息： 感受野大，解决‘在哪里’的问题

算法结构