【学习笔记】昇思25天学习打卡(D10)CV01-FCN图像语义分割.ipynb

FCN图像语义分割

全卷积网络（Fully Convolutional Networks，FCN）是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。

FCN是首个端到端（end to end）进行像素级（pixel level）预测的全卷积网络。

语义分割

图像语义分割（semantic segmentation）是图像处理和机器视觉技术中关于图像理解的重要一环，AI领域中一个重要分支，常被应用于人脸识别、物体检测、医学影像、卫星图像分析、自动驾驶感知等领域。

语义分割的目的是对图像中每个像素点进行分类。与普通的分类任务只输出某个类别不同，语义分割任务输出与输入大小相同的图像，输出图像的每个像素对应了输入图像每个像素的类别。

模型简介

FCN主要用于图像分割领域，是一种端到端的分割方法，是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层，网络所有层均为卷积层，故称为全卷积网络。

全卷积神经网络主要使用以下三种技术：

1. 卷积化（Convolutional）
2. 上采样（Upsample）
3. 跳跃结构（Skip Layer）

网络特点

1. 不含全连接层(fc)的全卷积(fully conv)网络，可适应任意尺寸输入。
2. 增大数据尺寸的反卷积(deconv)层，能够输出精细的结果。
3. 结合不同深度层结果的跳级(skip)结构，同时确保鲁棒性和精确性。

数据处理

使用PASCAL VOC 2012数据集与SDB数据集进行混合。

数据预处理

由于PASCAL VOC 2012数据集中图像的分辨率大多不一致，无法放在一个tensor中，故输入前需做标准化处理。

网络构建

FCN网络的流程如下：

1. 输入图像image，经过pool1池化后，尺寸变为原始尺寸的1/2。
2. 经过pool2池化，尺寸变为原始尺寸的1/4。
3. 接着经过pool3、pool4、pool5池化，大小分别变为原始尺寸的1/8、1/16、1/32。
4. 经过conv6-7卷积，输出的尺寸依然是原图的1/32。
5. FCN-32s是最后使用反卷积，使得输出图像大小与输入图像相同。
6. FCN-16s是将conv7的输出进行反卷积，使其尺寸扩大两倍至原图的1/16，并将其与pool4输出的特征图进行融合，后通过反卷积扩大到原始尺寸。
7. FCN-8s是将conv7的输出进行反卷积扩大4倍，将pool4输出的特征图反卷积扩大2倍，并将pool3输出特征图拿出，三者融合后通反卷积扩大到原始尺寸。

训练准备

导入VGG-16部分预训练权重

FCN使用VGG-16作为骨干网络，用于实现图像编码。

损失函数

使用交叉熵损失函数来计算FCN网络输出与mask之间的交叉熵损失。

自定义评价指标 Metrics

• Pixel Accuracy(PA, 像素精度)
• Mean Pixel Accuracy(MPA, 均像素精度)
• Mean Intersection over Union(MloU, 均交并比)
• Frequency Weighted Intersection over Union(FWIoU, 频权交井比)

模型训练

导入VGG-16预训练参数后，实例化损失函数、优化器，使用Model接口编译网络，训练FCN-8s网络。

模型评估

使用自定义的评价指标进行模型评估。

模型推理

使用训练的网络对模型推理结果进行展示。

总结

FCN的核心贡献在于提出使用全卷积层，通过学习让图片实现端到端分割。与传统使用CNN进行图像分割的方法相比，FCN有两大明显的优点：

1. 可以接受任意大小的输入图像，无需要求所有的训练图像和测试图像具有固定的尺寸。
2. 更加高效，避免了由于使用像素块而带来的重复存储和计算卷积的问题。

同时FCN网络也存在待改进之处：

1. 得到的结果仍不够精细。
2. 对各个像素进行分类，没有充分考虑像素与像素之间的关系。

Reference
教程来自：
https://gitee.com/mindspore/docs/blob/r2.3/tutorials/application/source_zh_cn/cv/fcn8s.ipynb