【Semantic Segmentation】Segmentation综述

【Semantic Segmentation】Segmentation综述

部分转自：https://zhuanlan.zhihu.com/p/37618829

一.语义分割基本介绍

1.1 概念

语义分割（semantic segmentation） : 就是按照“语义”给图像上目标类别中的每一点打一个标签，使得不同种类的东西在图像上被区分开来。可以理解成像素级别的分类任务。

输入： （HW3）就是正常的图片

输出： ( HWclass )可以看为图片上每个点的one-hot表示，每一个channel对应一个class,对每一个pixel位置，都有class数目 个channel,每个channel的值对应那个像素属于该class的预测概率。

figure1

1.3评价准则

1.像素精度（pixel accuracy ）：每一类像素正确分类的个数/ 每一类像素的实际个数。

2.均像素精度（mean pixel accuracy ）：每一类像素的精度的平均值。

2.平均交并比（Mean Intersection over Union）：求出每一类的IOU取平均值。IOU指的是两块区域相交的部分/两个部分的并集，如figure2中 绿色部分/总面积。

4.权频交并比（Frequency Weight Intersection over Union）：每一类出现的频率作为权重

figure2

二.从FCN 到Deeplab V3+ :语义分割的原理和常用技巧

2.1 FCN

论文详解

FCN是语义分割的开山之作，主要特色有两点：

1.全连接层换成卷积层

2.不同尺度的信息融合FCN-8S,16s,32s

2.1.1 全连接层换成卷积层

figure3

以Alexnet的拓扑结构为例

原本的结构：224大小的图片经过一系列卷积，得到大小为1/32 = 7的feature map，经过三层全连接层，得到基于FC的分布式表示