Openmmlab AI实战营打卡-第6课

本文链接：https://blog.csdn.net/royi_0825/article/details/128960228

今天是语义分割方面的学习。
语义分割：对每一个像素进行细粒度的分类

基本思路1：按颜色分类，

这是因为物体内部颜色相近，物体交界颜色变化
存在问题：不同物体颜色可能相近，物体内也会包含多种颜色

基本思路2：逐像素分类

利用滑窗和CNN进行分类。
优势：可以充分利用已有的图像分类模型
问题：效率低下，重复区域重复计算卷积
目标检测属于实例分割中的一种。

全连接层的卷积化：

把特征图拉平，使其向量化，并将这些向量放在一起，全连接层的每一个神经元就可以变成一个卷积核。
全连接网络的卷积化：分类网络转成了分割网络
VGG:降采样层，
分割网络会逐渐变小
问题：图像分类模型使用降采样层（步长卷积或池化）获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割要求同尺寸输出

怎么小变大：升采样

解决方法：
对预测的分割图升采样，恢复原图分辨率，升采样方案：

双线性插值
转置卷积：可学习的升采样层
双线性插值的方法是我本科的时候做毕设用的方法。
转置卷积：升卷积 Upconvolution、反卷积 Deconvolution
将卷积运算表示成矩阵乘法，只在形状上有互逆的关系，数值结果没有互逆关系

问题：高层特征经过多次降采样，细节丢失严重。
先降采样，再升采样
低层次和高层次特征图结合
语义分割必读：UNet（逐级融合高低层次特）

上下文信息：

图像周围的内容（也称上下文）可以帮助我们做出更准确的判断

如何在预测过程中使用上下文信息？
方案：增加感受野更大的网络分支，将上下文信息导入局部预测中
PSPNet 2016：
(a) 对特征图进行不同尺度的池化，得到不同尺度的上下文特征
(b) 上下文特征经过通道压缩和空间上采样之后拼接回原特征图 → 同时包含局部和上下文特征
© 基于融合的特征产生预测图

DEEPLAB 空洞卷积

DeepLab 是语义分割的又一系列工作，其主要贡献为：
• 使用空洞卷积解决网络中的下采样问题
• 使用条件随机场 CRF 作为后处理手段，精细化分割图
• 使用多尺度的空洞卷积（ASPP 模块）捕捉上下文信息
图像分类模型中的下采样层使输出尺寸变小
如果将池化层和卷积中的步长去掉：
• 可以减少下采样的次数；
• 特征图就会变大，需要对应增大卷积核，以维持相同的感受野，但会增加大量参数
• 使用空洞卷积（Dilated Convolution/Atrous Convolution），在不增加参数的情况下增大感受野

DeepLab 在图像分类网络的基础上做了修改：
• 去除分类模型中的后半部分的下采样层
• 后续的卷积层改为膨胀卷积，并且逐步增加rate来维持原网络的感受野