神经网络与深度学习第五周课程总结
6.4 语义分割
6.4.1 语义分割问题
语义指具有人们可用语言探讨的意义,分割指图像分割。语义分割即能够将整张图的每个部分分割开,使每个部分都有一定类别意义。和目标检测不同的是,目标检测只需要找到图片中目标,打上框然后分出类别。语义分割是以描边的形式,将整张图不留缝隙的分割成每个区域,每个区域是一个类别,没有类别的默认为背景background。
6.4.2 语义分割实现
目标:对图片上每个像素点进行分类,并得到对应标签。
基本思想:利用滑动窗口进行全域扫描,但是计算速度过慢,重复计算太多
优化:FCN网络结构
FCN是对图像进行像素级的分类(也就是每个像素点都进行分类),从而解决了语义级别的图像分割问题。与上面介绍的经典CNN在卷积层使用全连接层得到固定长度的特征向量进行分类不同,FCN可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷基层的特征图(feature map)进行上采样,使它恢复到输入图像相同的尺寸,从而可以对每一个像素都产生一个预测,同时保留了原始输入图像中的空间信息,最后奇偶在上采样的特征图进行像素的分类。如下图所示:
6.4.3 反卷积与反池化
上池化(unpooling):也称反池化
6.4.4 FCN具体实现
6.4.4.1 FCN实现结构之卷积部分
FCN 网络结构:卷积部分
FCN中第6、7、8层都是通过1 × 1卷积得到的,第6层的输出是4096 × 7 × 7,
第7层的输出是4096 × 7 × 7 ,第8层的输出是1000 × 7 × 7,即1000个大小是
7 × 7的特征图(称为heatmap)。
反卷积部分:跳级结构
蓝色:卷积层;绿色:Max Pooling层;黄色: 求和运算;灰色: 裁剪
FCN-32s:
FCN-16s
FCN-8s
反卷积部分:跳级结构
6.4.4.2 FCN训练结果
6.4.4.3 FCN评价指标与标注工具
Accuracy(准确率):
表示预测正确的样本数量占全部样本的百分比,具体表示如下
Precision(查准率)
表示模型预测为正例的所有样本中,预测正确(真实标签为正)样本的占比:
Recall (查全率)
表示所有真实标签为正的样本,有多大百分比被预测出来
IoU
定义:两个集合之间交集与并集之间的比值,函数表达式如下:
Labelme:
EISeg