语义分割(semantic segmentation)相关知识点
语义分割是目标检测更进阶的任务,目标检测只需要框出每个目标的包围盒,语义分割需要进一步判断图像中哪些像素属于哪个目标。
计算机视觉任务的困难: 拍摄视角变化、目标占据图像的比例变化、光照变化、背景融合、目标形变、遮挡等。
(1) 语义分割常用数据集
PASCAL VOC 2012 1.5k训练图像,1.5k验证图像,20个类别(包含背景)。
MS COCO COCO比VOC更困难。有83k训练图像,41k验证图像,80k测试图像,80个类别。
Cityscapes城市街景图像数据
(2) 语义分割基本思路
基本思路 :逐像素进行图像分类。我们将整张图像输入网络,使输出的空间大小和输入一致,通道数等于类别数,分别代表了各空间位置属于各类别的概率,即可以逐像素地进行分类。
全卷积网络+反卷积网络:为使得输出具有三维结构,全卷积网络中没有全连接层,只有卷积层和池化层。但是随着卷积和池化的进行,图像通道数越来越大,而空间大小越来越小。要想使输出和输入有相同的空间大小,全卷积网络需要使用反卷积和反池化来增大空间大小。
反卷积(deconvolution)/转置卷积(transpose convolution)