语义分割学习入门——持续更新中

一、按发展涉及的相关论文

比较简单的一些入门论文

DeeplabV3+

1、数据集
下载链接VOC2012

我理解的难点：
（1）关于mask label的理解
如下图是一张图和与之对应的类别mask，相同类别的像素值是一样的
image [b,c,h,w] label [b,h,w]
网络output [b,num,h,w] 其中num是这个数据集的类别数
针对VOC2012数据集num=21 （这意味着所有图的label只有21种不同的像素值！）
后来发现mask的像素值对应的就是类别！
（2）关于输出与label如何计算loss
（3）关于输出如何可视化

2、代码
下载链接代码，b站有相关视频进行源码分析

（2）损失函数
使用交叉熵损失函数，该函数常用于分类问题

举例说明交叉熵的算法如下：

所以分割的结果可以视作对每一个像素点进行num分类
此处保留一个疑点：通过分析源码我发现mask类别数，而不是概率；网络的预测结果虽没有进行归一化（正常每个像素点通道维度之和应该为1），但仍可视作值越大，对应预测为该类的概率越大，所以计算交叉熵的时候会自动将mask转化为概率吗？
解答：mask初始化的时候会从数值进行类别的映射，比如num=19，则mask全部映射到0-18和255，网络的输出可以过softmax也可以不过，因为交叉熵损失是用mask作为index让该位置的值在num中最大

（3）预测的分割结果如何可视化
测试时输出的output沿通道维度取最大值所在的index即为预测的类别数

可视化需要定义color map，具体而言就是给0-255每一个值一个颜色
因此color_map的大小是【256，3】
给定输出output [h,w] 就能给每一个像素点涂上一个颜色 这样就实现可视化啦

-----------------------------------------------------2023年2月17日---------------------------------------------------------

二、从代码实现的角度理解语义分割

我找到一个结构比较清晰适合入门的代码DANet，对应的文章CVPR2019
1、数据导入
使用的数据集是Cityscapes，下载链接
其中leftImg8bit是输入数据，包括train，val和test；gtFine_trainvaltest是对应的label
输入数据要进行一系列的增强操作，对应的label也要同样操作；
输入数据要归一化，而label对应的像素值要从[0,num_class]转化到0-255 有相关代码github
也可以参考博客Cityscapes数据集的介绍与使用方法
2、模型构建
重点在于使用的backbone，预训练模型的导入
3、loss的计算
4、acc和mIoU的计算
5、test的结果可视化输出
-----------------------------------------------------2023年2月19日---------------------------------------------------------