《Structured Knowledge Distillation for Semantic Segmentation》

摘要

本文研究了利用大网络训练小语义分割网络的知识蒸馏策略，从简单的像素点蒸馏方案开始，将蒸馏方案应用于图像分类，并分别对每个像素进行知识蒸馏。此外，本文提出将结构化知识从大网络提取到小网络。本文主要研究了两种结构化的蒸馏方案：

（1）提取成对相似性的成对蒸馏；

（2）使用GAN提取整体知识的整体蒸馏。

通过对三个数据集（Cityscapes、Camvid和ADE20K）的大量实验，证明了本文知识蒸馏方法的有效性。

解决的问题

目前，最先进的语义分割模型如DeepLab, PSPNet , OCNet , RefineNet 和 DenseASPP等模型虽然分割效果很好，但网络结构笨重，模型参数太多，不利于移植到移动端。

而本文研究了如何在语义分割模型的知识蒸馏中引入结构化信息的损失函数，在不改变模型计算量的情况下，提高小型网络在语义分割任务上的精度。

知识蒸馏

顾名思义，知识蒸馏就是把大网络学习到的知识浓缩到小网络模型中。一般情况下，在相同的数据上训练，模型参数量较大、计算量大的模型往往精度比较高，而用精度高、模型复杂度高的模型即Teacher网络的输出训练Student网络，以期达到使计算量小参数少的小网络精度提升的方法，就是知识蒸馏。

语义分割问题描述

语义分割任务的目标是将图像中的每个像素点划分到对应的类别中。假设目标类别有?个C个，输入图像为?，I，通道数为3（RGB），长宽分别为?,?，H,W，则?