深度学习-语义分割前言

1.什么是语义分割：

常见的分割任务：

语义分割（semantic segmentation）：对比分类任务，对图片中的每个像素进行分类。FCN

实例分割（Instance segmentation）：在实例分割当中是不考虑背景情况的。且针对于同一个类别中的不同目标，也用不同的颜色来进行标注。Mask R-CNN

全景分割（Panoramic segmentation）：可以理解为语义分割+实例分割。要求不仅要对目标进行标注，更要求对背景进行标注。Panoptic FPN

2.学习计划：

3.语义分割任务常见数据集格式：

PASCAL VOC:

像素0对应的是（0，0，0）黑色，像素1对应的是（127，0，0）深红色，像素255对应的是（224，224，129）

https://blog.csdn.net/qq_37541097/article/details/115787033

(介绍PASCAL VOC数据集的，有说到语义分割的数据格式是怎么样的)

MS COCO:

 针对图像中的每一个目标都记录了多边形坐标。

https://blog.csdn.net/qq_37541097/article/details/113247318（读取每个图像的分割信息部分有详细介绍）

4.语义分割得到结果的具体形式：

语义分割后得到的结果应该是一张单通道的图片（彩色的原因是因为加上了调色板之后的效果）

5.语义分割常见评价指标：

Pixel Accuracy（Global Acc）：

分子表示 预测标签图像中 所有预测正确的像素个数 的总合。

分母是 预测图片的的 总像素个数。

mean Accuracy：

分子为 对于 类别i 预测正确的像素个数。ti对应目标类别像素个数总个数（真实标签）。

mean IoU：

计算每个类别的IOU，然后对每个类别求平均得到了mean IoU。

例子：

 

 

 

 

 

整体的acc：

分子为预测正确像素的个数，分母为像素总个数。

针对每一个类别的acc：

Mean IOU：

 

将这五个类别的IOU相加 ，除以5就得到了 Mean IoU。

 分子表示为 对应类别预测正确的像素个数 ，分母表示为 对应类别真实标签像素个数+对应类别预测标签个数-预测正确的像素个数 。

6.语义分割标注工具：

Labelme：使用指南（https://blog.csdn.net/qq_37541097/article/details/120162702）

EISeg:https://github.com/PaddlePaddle/PaddleSeg

使用指南（https://blog.csdn.net/qq_37541097/article/details/120154543）