@[TOC](神经网络与深度学习第五周课程总结)

6.4 语义分割

6.4.1 语义分割问题

语义指具有人们可用语言探讨的意义，分割指图像分割。语义分割即能够将整张图的每个部分分割开，使每个部分都有一定类别意义。和目标检测不同的是，目标检测只需要找到图片中目标，打上框然后分出类别。语义分割是以描边的形式，将整张图不留缝隙的分割成每个区域，每个区域是一个类别，没有类别的默认为背景background。

6.4.2 语义分割实现

目标：对图片上每个像素点进行分类，并得到对应标签。

基本思想：利用滑动窗口进行全域扫描，但是计算速度过慢，重复计算太多

优化：FCN网络结构
FCN是对图像进行像素级的分类（也就是每个像素点都进行分类），从而解决了语义级别的图像分割问题。与上面介绍的经典CNN在卷积层使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图（feature map）进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后奇偶在上采样的特征图进行像素的分类。如下图所示：

6.4.3 反卷积与反池化

上池化（unpooling）：也称反池化

6.4.4 FCN具体实现

6.4.4.1 FCN实现结构之卷积部分

FCN 网络结构：卷积部分

FCN中第6、7、8层都是通过1 × 1卷积得到的，第6层的输出是4096 × 7 × 7，
第7层的输出是4096 × 7 × 7 ，第8层的输出是1000 × 7 × 7,即1000个大小是
7 × 7的特征图（称为heatmap)。

反卷积部分：跳级结构

蓝色：卷积层；绿色：Max Pooling层；黄色: 求和运算；灰色: 裁剪
FCN-32s：

FCN-16s

FCN-8s
反卷积部分：跳级结构

6.4.4.2 FCN训练结果

6.4.4.3 FCN评价指标与标注工具

Accuracy(准确率）:
表示预测正确的样本数量占全部样本的百分比，具体表示如下

Precision（查准率）
表示模型预测为正例的所有样本中，预测正确（真实标签为正）样本的占比：

Recall （查全率）
表示所有真实标签为正的样本，有多大百分比被预测出来

IoU
定义：两个集合之间交集与并集之间的比值，函数表达式如下：

Labelme:

EISeg