经典图像分割方法总结

刚看到一个图像分割的视频，讲的很粗略，但对于了解这方面知识的基础，还是很不错的。。

图像分割应用

分割的常用的三个数据集

传统的图像分割方法

深度学习做图像分割

算法一：全卷积网络（FCN）

先进行卷积和池化（之后不进行全连接），（VGG-16网络）提取出来图片特征，然后进行上采样（拿了三个池化层的结果，分别进行上采样（根据原图和当前feature map的比值进行放大，从而上采样到原图大小），之后叠加，由粗到细（既考虑小的特征图的全局信息，也考虑大的特征图的细节信息），进行上采样预测），上采样到原图大小，之后对每个像素用softmax分类。。

图像分割上采样常用的方法：

（1）卷积操作：

（2）padding和stride

（3）双线性差值上采样

先在x轴上做线性差值，Q12和Q22得到R2，Q11和Q21得到R1
然后在y轴做线性差值由R1和R2得到P
所以P就是四个点线性加权得到的结果。。

双线性插值上采样的用途：

主要用途就是放大feature map（上采样的作用），双线性插值的作用是在特征图进行大小缩放时（上采样是放大），利用双线性插值来的到相对准确的ROI的边界值（相对ROI Pooling而言）；
下面用途中，FCN是当做第一中种用途，现在的paper主要是后两种用途，因为反卷积并没有太大的优势。。

（4）带洞卷积（膨胀卷积）

这样更利于考虑全局信息

（5）几种类型的特征金字塔

（a）多个尺度的原图，产生多个尺度的feature map，再对应多个输出；
（b）一个尺度的原图，产生多个尺度的feature map，针对某一个尺度的feature map产生一个输出；
（c）一个尺度的原图，产生多个尺度的feature map，每个feature map对一个一个输出；
（d）一个尺度的原图，产生多个尺度的feature map，多个feature map相互融合，产生多个输出；
其中第四种性能最好：
操作方法：
1扩大两倍然后与2进行叠加，然后得到3，小的特征图携带全局信息，大的特征图携带细节信息，相互融合，这样即利用了细节信息，又利用了全局信息。。

算法二：PSPNet

采用的方法和FPN类似，池化产生多个尺度的feature map，然后利用卷积缩小他们的通道数，然后分别上采样放大到原图大小，然后所有拼接在一起，既有全局信息，又有局部信息。。

算法三：Mask-RCNN

（1）多分支预测

    实际主体结构和faster R-CNN差不多，只是多了一个mask这个步骤

（2）binary mask

之前的FCN，是利用soft max进行多分类预测，这里是使用sigmoid进行二分类，准确率大幅提高

（3）Roi Align

作用：bounding box 的映射时，得到更准确的边界值，使得框更精确。。

Roi Align 与Roi pooling的关系

Roi Align实际是Roi pooling的精确版
feature map中的小的变化，映射到原图上可能是好几个像素的变化，
因为分割任务边框的精确度要求要比检测任务要求更高，所以Align可以增加分割进度。。具体精度提升如下：