基于知识蒸馏的车辆可行驶区域分割算法研究
期刊:汽车技术
时间:2020
研究院:同济大学
关键词:知识蒸馏可行驶区域图像分割卷积神经网络
前言
2014 年 ,Long J[1] 等人提出使用全卷积神经网络 (Fully Convolutional Networks,FCN)对图像进行语义分割,这是卷积神经网络在图像分割领域的首次成功应用
Olaf Ronneberger[2]等人提出一种用于医疗图像分割的 U 形网络 U-net,该方法最大的贡献在于提出了将图像编码与解码
进行融合的思想
2018 年,何恺明[3]从另一个角度对图片进行语义分割,提出掩膜区域卷积神经网络(Mask Region-based Convolutional Neural Network, Mask R-CNN)模型
DeepLabV3+分割网络
图 2a 为 DeepLabV3 的空间金字塔池化网络结构,该结构使用串行结构进行编码,将原图压缩为 1/8 的特征图后再使用空间金字塔池化结构丰富特征,然后将 8 倍的上采样映射回原图。这种结构忽略了浅层的特征信息,分割的损失比较大。图 2b 为典型的编码解码结构,可以将浅层信息与深层信息充分融合,但是这种方法使得网络结构更加复杂,难以实现。因此,DeepLabV3+将两者的优点进行结合,提出基于空间金字塔池化的编码解码语义分割网络结构,如图 2c 所示。
本文使用 Resnet18 网络[13] 作为 DeepLabV3+ 的主干网络。Resnet18 网络首先使用 1 个卷积层和 1 个池化层将图片缩小,得到原图的 1/4 特征图,然后经过多个残差块不断对图片的特征进行处理,最后得到原图 1/32 大小的特征图,再使用全连接层以及 Softmax 等处理工具进行分类。本文使用该网络作为 DeepLabV3+ 的主干网络,同时去除主干网络中最后一个缩小特征图的层,输出为原图 1/16 的特征图。所构建的网络具体结构如图 3 所示,一条特征输出支路取 Resnet18 的 Block3 输出的特征图作为编码的特征图,之后使用 1 个 1×1 的普通卷积和 3 个 3×3 的带孔卷积进行特征提取。 其中,3 个带孔卷积的扩张率不同,这样提取出特征的感受野不同,使得输出特征的丰富性大幅增加。再将这些特征直接拼接,并使用 1×1 卷积将特征进行融合, 融合后使用 4 倍的反卷积将特征图映射至原图的 1/4 大小。另一条支路上,直接提取 Resnet18 中 Block1 输出的 1/4 特征图,这一特征图尺寸与第 1 条支路的特征图尺寸相同,将 2 条支路输出的特征图进行拼接,组成一个特征图。这一特征图结合了主干特征提取网络的深层网络和浅层网络,使网络得到的图片特征更加丰富。 然后使用 3×3 的网络将 2 个特征融合,最后使用 4 倍的反卷积,将该特征图映射回原图大小,进行像素级语义分割。