mmsegement学习笔记

学习图像分割的第一天学习笔记

什么是图像分割：

将图像按照物体的类别分割成不同的区域

等价于： 对每个像素进行分类

在遥感领域，自动驾驶领域，医学图像方面应用较多。

三种分割

图像分割传统做法：

传统做法思路：物体内部颜色相近，物体交界颜色变化

缺点：先验知识不完全准确；不同物体颜色可能相近，物体内也会包含多种颜色

卷积神经网络

升采样：

问题：

图像分类模型使用降采样层（步长卷积或池化）获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割要求同尺寸输出

解决方法：

对预测的分割图升采样，恢复原图分辨率，升采样方案：

1. 双线性插值

2. 转置卷积：可学习的升采样层

双线性插值：

解决方案 FCN：

基于低层次和高层次特征图分别产生类别预测，升采样到原图大小，再平均得到最终结果

解决方案 UNet：

逐级融合高低层次特征

图像分类模型中的下采样层使输出尺寸变小

如果将池化层和卷积中的步长去掉：

• 可以减少下采样的次数；

• 特征图就会变大，需要对应增大卷积核，以维持相同的感受野，但会增加大量参数

• 使用空洞卷积（Dilated Convolution/Atrous Convolution），在不增加参数的情况下增大感受野