基于知识蒸馏的车辆可行驶区域分割算法研究

基于知识蒸馏的车辆可行驶区域分割算法研究

期刊：汽车技术

时间：2020

研究院：同济大学

关键词：知识蒸馏可行驶区域图像分割卷积神经网络

前言

2014 年 ，Long J[1] 等人提出使用全卷积神经网络 （Fully Convolutional Networks，FCN）对图像进行语义分割，这是卷积神经网络在图像分割领域的首次成功应用

Olaf Ronneberger[2]等人提出一种用于医疗图像分割的 U 形网络 U-net，该方法最大的贡献在于提出了将图像编码与解码进行融合的思想

2018 年，何恺明[3]从另一个角度对图片进行语义分割，提出掩膜区域卷积神经网络（Mask Region-based Convolutional Neural Network， Mask R-CNN）模型

DeepLabV3+分割网络

图 2a 为 DeepLabV3 的空间金字塔池化网络结构，该结构使用串行结构进行编码，将原图压缩为 1/8 的特征图后再使用空间金字塔池化结构丰富特征，然后将 8 倍的上采样映射回原图。这种结构忽略了浅层的特征信息，分割的损失比较大。图 2b 为典型的编码解码结构，可以将浅层信息与深层信息充分融合，但是这种方法使得网络结构更加复杂，难以实现。因此，DeepLabV3+将两者的优点进行结合，提出基于空间金字塔池化的编码解码语义分割网络结构，如图 2c 所示。

本文使用 Resnet18 网络[13] 作为 DeepLabV3+ 的主干网络。Resnet18 网络首先使用 1 个卷积层和 1 个池化层将图片缩小，得到原图的 1/4 特征图，然后经过多个残差块不断对图片的特征进行处理，最后得到原图 1/32 大小的特征图，再使用全连接层以及 Softmax 等处理工具进行分类。本文使用该网络作为 DeepLabV3+ 的主干网络，同时去除主干网络中最后一个缩小特征图的层，输出为原图 1/16 的特征图。所构建的网络具体结构如图 3 所示，一条特征输出支路取 Resnet18 的 Block3 输出的特征图作为编码的特征图，之后使用 1 个 1×1 的普通卷积和 3 个 3×3 的带孔卷积进行特征提取。 其中，3 个带孔卷积的扩张率不同，这样提取出特征的感受野不同，使得输出特征的丰富性大幅增加。再将这些特征直接拼接，并使用 1×1 卷积将特征进行融合， 融合后使用 4 倍的反卷积将特征图映射至原图的 1/4 大小。另一条支路上，直接提取 Resnet18 中 Block1 输出的 1/4 特征图，这一特征图尺寸与第 1 条支路的特征图尺寸相同，将 2 条支路输出的特征图进行拼接，组成一个特征图。这一特征图结合了主干特征提取网络的深层网络和浅层网络，使网络得到的图片特征更加丰富。 然后使用 3×3 的网络将 2 个特征融合，最后使用 4 倍的反卷积，将该特征图映射回原图大小，进行像素级语义分割。