语义分割任务与改进简述

mmsegmentation： 语义分割

算法概述； 技术演进； 常见技巧；

肾小球的数据集能够跑通了，那么其他的也都可以完成，无论是cargo竞赛还是毕业设计；

对每一个像素进行细粒度分类，

区别：（语义分割，实例分割，全景分割）

应用：人像抠图，行驶状况监测，遥感图像，医学图像，

先验知识；滑动窗口 （已经被淘汰的两个方法）

改进：

1.不是在滑窗上计算卷积，而是在原图上计算卷积；

2.卷积神经网络的全连接层会导致输入大小固定，这部分改进为使用1*1的卷积来替代（用卷积实现全连接层的功能），但不是取代分类的线性层，是取代卷积之后的。

3.升采样（池化是降采样）：双线性插值（不可学习，数字图像处理基础），转置卷积（可学习，可能叫升卷积，反卷积，但数学上来说不是卷积的逆运算）。

4.特征图在下采样中损失的空间信息（细节信息减少，语义信息丰富） -> 结合低层次和高层次特征图；UNET是一种逐级融合高低层次特征的方法。

5.图块周围的像素是图像的上下文信息，滑窗低效且丢失上下文信息 -> 多尺度池化得到不同尺度的特征图，concat一起再预测；

另有ASPP空间金字塔池化，获取不同尺度的空洞卷积来获取上下文信息，替换多尺度池化。

6.deeplab的空洞卷积（膨胀卷积），（不想让下采样层导致输出尺寸变小，而且... ）这个优化可以在不增加参数的情况下增大感受野；空洞卷积 ≈ 下采样 + 标准卷积；

不想让下采样层导致输出尺寸变小，而且...

 

7.条件随机场（后处理方法）， CFR是一种概率模型，目标是最小化其损失函数（能量函数）；

（子豪兄大佬提了一嘴：大家的图其实很多都是PPT画的；）

小总结：

 

语义分割的评估：accuracy（类似于recall；eg：真的得了新冠的人多少被预测出来了。），iou（交并比），Dice（类似F1score）

答疑：

matting和segmentation的区别，特别细节的抠图，只分别前景背景；