图像分割总结

视频源：图像分割的经典算法

图切割

双线性插值上采样

先分别插值得到（$R_1$和$R_2$）两个蓝色的点，再根据$R_1$和$R_2$插值得到P绿色的点。

作用：

• 初始化反卷积的权重–最开始的论文常用，但是不好训练，后来用的少
• 不用反卷积，使用上采样+卷积
• 只使用上采样

特征金字塔

(a)对图片进行缩放到不同尺度，然后分别用cnn提取特征然后预测，最简单的图像金字塔，缺点：运算量大

(b)？？？他没讲好

©一张图片用cnn进行特种提取时用不同的中间层进行预测，再对结果进行融合

(d)特征金字塔网络：只对一张图用cnn提取信息，再把得到的不同尺度的特征图缩放到同一尺寸之后merge到一起，这样得到的特征图既保留了全局信息，也保留了局部信息。

金字塔池化

把经过cnn提取特征后的特征图进行不同比例的池化，如上图，红色的保留了较多的全局信息，绿色的保留了较多的局部信息，之后利用上采样恢复到同样的大小。

Mask-RCNN

Multi_Target Loss

对提取到的bounding box使用FCN

BInary Mask

Roi Align

转载自详解 ROI Align 的基本原理和实现细节
ROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。实验显示，在检测测任务中将 ROI Pooling 替换为 ROI Align 可以提升检测模型的准确性。


目的是将原图中的bounding box对应到feauture map中的bounding box。
外侧蓝框是卷积以后的特征图，肉色的框式bounding box，但bounding box没有能准确对应到每个像素。
为了解决这个问题，作者提出了ROI Align这一改进的方法(如图2)。ROI Align的思路很简单：取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作，。值得注意的是，在具体的算法操作上，ROI Align并不是简单地补充出候选区域边界上的坐标点，然后将这些坐标点进行池化，而是重新设计了一套比较优雅的流程：

• 遍历每一个候选区域，保持浮点数边界不做量化。
• 将候选区域分割成k x k个单元，每个单元的边界也不做量化。
• 在 每个单元中 计算固定四个坐标位置(xy坐标)，用双线性内插的方法计算出这四个位置的值(该坐标对应的值)，然后进行最大池化操作。