昇思MindSpore学习25天Day10：FCN图像语义分割

最新推荐文章于 2024-07-19 22:02:21 发布

weixin_42147595

最新推荐文章于 2024-07-19 22:02:21 发布

阅读量782

点赞数 23

文章标签：学习

本文链接：https://blog.csdn.net/weixin_42147595/article/details/140044977

版权

全卷积网络 (fuly ConvolutionaI Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fuly Convolutiona Networks for Semantic Segmentation[1]一文中提出的用于图像语义分制的一种框架。
FCN是首个端到端(end to end)进行像素级(pixel level)预测的全卷积网络。
在这里插入图片描述

一、语义分割

在具体介绍FCN之前，首先介绍何为语义分割:
图像语义分.(semapic segmentation)是图像外理和机器视觉枝术中关于图像理器的重要一环、AI而域中一个重要分支，常被应用于人脸识别,物体检测，医学影像,卫星图像分析,自动动驾驶感知等领域。

语义分割的目的是对图像中每个像素点进行分类，与普通的分类任务只输出某个类别不同，语义分割任务输出与输入大小相同的图像，输出图像的每个像素对应了输入图像每个像素的类别。语义在图像领域指的是图像的内容，对图片意思的理解，下图是一些语义分割的实例:
在这里插入图片描述

二、模型简介

FCN主要用于图像分制领域，是一种端到端的分割方法，是深度学习应用在图像语义分割的开山之作，通过进行像素级的预测直接得出与原图大小相等的label map、因FCN丢弃全连接层替换为全卷积层，网络所有层均为卷积层，故称为全卷积网络。

全卷积神经网络主要使用以下三种技术:

（1）卷积化（Convolutional）

使用VGG-16作为FCN的bacdkbone。VGG-16的输入为224*224的RGB图像，输出为1000个预测值。VGG-16只能接受固定大小的输入，丢弃了空间坐标，产生非空间输出，VGG-16中共有三个全连接层，全连接层也可视为带有覆盖整个区域的卷积。将全连接层转换为卷积层能使网络输出由一维非空间输出变为二维矩阵，利用输出能生成输入图片映射的heatmap。
在这里插入图片描述

（2）上采样（Upsample）

在卷积过程的卷积操作和池化操作会使得特征图的尺寸变小，为得到原图的大小的稠密图像预测，需要对得到的待征图进行上采样操作。使用双线性插值的参数来初始化上采样逆卷积的参数，后通过反向传
播来学习非线性上采样。在网络中执行上采样，以通过像素损失的反向传播进行端到端的学习。
在这里插入图片描述

3.跳跃结构（Skip Layer）

利用上采样技巧对最后一层的特征图进行上采样得到原图大小的分割是步长为32像素的预测，称之为FCN-32s。由于最后一层的特征图太小，损失过多细节，采用skips:结构将更具有全局信息的最后一层预测和更浅层的预测结合，使预测结果获取更多的局部细节。将底层(stnde32)的预测(FCN-32s)进行2倍的上采样得到原尺寸的图像，并与从pool4层(stnide16)进行的预测融合超来(相加)，这一部分的网络被称为FCN-16s，随后将这一部分的预测再进行一次2倍的上采样并与从pool3层得到的预测融合起来，这一部分的网络被称为FCN-8s。Skip:结构将深层的全局信息与浅层的局部信息相结合。
在这里插入图片描述

三、网络特点

1.不含全连接层(fc)的全卷积(fully conv)网络，可适应任意尺寸输入。
2.增大数据尺寸的反卷积(deconv)层，能够输出精细的结果。
3.结合不同深度层结果的跳级(skip)结构，同时确保鲁棒性和精确性,

四、数据处理

开始实验前，需确保本地已经安装Python环境及MindSpore。
在这里插入图片描述

4.1 数据预处理

由于PASCAL VOC2012数据集中图像的分辨率大多不一致，无法放在一个tensor中，故输入前需做标准化处理。

4.2 数据加载

奖PASCAL VOC 2012数据集与SDB数据集进行混合。
在这里插入图片描述

4.3 训练集可视化

运行以下代码观察载入的数据集图片（数据集处理过程中已归一化处理）。
在这里插入图片描述

在这里插入图片描述

五、网络构建

5.1 网络流程

FCN网络的流程如下图所示:
1.输入图像image，经过pool1池化后，尺寸变为原始尺寸的1/2.
2.经过pool2池化，尺寸变为原始尺寸的1/4。
3.接着经过pool3、pool4、pool5池化，大小分别变为原始尺寸的1/8、1/16、1/32
4.经过conv6-7卷积，输出的尺寸依然是原图的1/32.
5.FCN-32s是最后使用反卷积，使得输出图像大小与输入图像相同。
6.FCN-16s是将conv7的输出进行反卷积，使其尺寸扩大两倍至原图的1/16，并将其与p0014输出的特征图进行融合，后通过反卷积扩大到原始尺寸。
7.FCN-8s是将conv7的输出进行反卷积扩大4倍，将pool4输出的特征图反卷积扩大2倍，并将pool3输出特征图拿出，三者融合后通反卷积扩大到原始尺寸。
在这里插入图片描述
使用以下代码构建FCN-8s网络。

5.2 训练准备

5.2.1 导入VGG-16部分预训练权重

FCN使用VGG-16作为骨干网络，用于实现图像编码，使用下面代码导入VGG-16预训练模型的部分预训练权重。
在这里插入图片描述

5.2.2损失函数

吾义分割是对图像中每个像素点进行分类，仍是分类问题，故损失函数选择交叉熵损失函数来计算FCN网络输出与mask之间的交叉损失。这里我们使用的是mindspore.nn.CrossEntropyLoss0)作为损失函数。

5.2.3 自定义评价指标Metrics

这一部分主要对训练出来的模型效果进行评估，为了便于解释，假设如下：共有k+1个类（从L0到L1，其中包含一个空类或者背景），pij表示本属于i类但被预测为j类的像素数量。即，pij表示真正的数量，而pijpji则分别被解释为假正和假负，尽管两者都是假正和假负之和。

Pixel Accuracy(PA像素精度)：这是简单的度量，为标记正确的像素占总像素的比例。
MeanPixel Accuracy（MPA，均像素精度）：是PA的一种简单提升，计算每个类内被正确分类像素的比例，之后求所有类的平均。
Mean Intersection over Union(MloU,均交并比):为语义分割的标准度量。其计算两个集合的交集和并集之，在语义分割的问题中，这两个集合为真实值(ground truth)和预测值(predicted segmentation)。这个比例可以变形为正真数(intersection)比上真正、假负、假正(并集)之和。在每个类上计算loU，之后平均。
Frequency Weighted Intersection over Union(FWloU,频权交井比):为MloU的一种提升，这种方法根据每个类出现的频率为其设置权重。

六、模型训练

导入VGG-16预训练参数后，实例化损失函数、优化器，使用Model接口编译网络，训练FCN-8s网络。
在这里插入图片描述

在这里插入图片描述

Train epoch time ：799439.832ms，per stop time ：699.422ms

（推理结束后，根目录下获得模型fcn8s_vgg16_pretrain.ckpt）

因为FCN网络在训练的过程中需要大量的训练数据和训练轮数，这里只提供了小数据单个epoch的训练来演示loss收敛的过程，下文中使用己训练好的权重文件进行模型评估和推理效果的展示。

七、模型评估

在这里插入图片描述
（多做几遍，第一遍特别耗时，后面几遍就快了）

八、模型推理

在这里插入图片描述
模型推理结果

九、总结

FCN的核心贡献在于提出使用全卷积层，通过学习让图片实现端到端分割。与传统使用CNN进行图像分割的方法相比，FCN有两大明显的优点:
一是可以接受任意大小的输入图像，无需要求所有的训练图像和测
试图像具有固定的尺寸。二是更加高效，避免了由于使用像素块而带来的重复存储和计算卷积的问题。
同时FCN网络也存在待改进之处:
一是得到的结果仍不够精细、进行8倍上采样虽然比32信的效果好了很多，但是上采样的结果们比较模糊和平遇，尤基导边界处，网络对图像中的细节不敏康，二是对各个像责进行分类，没有充分考春像表与像素之间的关系(如不连续性和相似性)。忽略了在通常的基于像素分类的分割方法中使用的空间规整(spatialregularization)步骤，缺乏空间一致性。

十、引用

[1]Long, Jonathan, Evan Shelhamer, and Trevor Darrell. “Full convolutional networks for Semantic Segmentation.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015