点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
今天介绍一篇来自阿德莱德大学、亚洲微软研究院、北航的CVPR2019关于语义分割的论文。
本文研究了利用大型网络训练小型语义分割网络的知识提取策略。我们从简单的像素蒸馏方案开始,它将图像分类所采用的蒸馏方案应用于图像分类,并对每个像素分别进行知识蒸馏。基于语义分割是一个结构化的预测问题,我们进一步提出将结构化知识从大网络提取到小网络。我们研究了两种结构化的蒸馏方案:(i)成对蒸馏,提取成对的相似性;(ii)整体蒸馏,使用GAN提取整体知识。通过对三种场景解析数据集Cityscapes、Camvid和ADE20K的大量实验,验证了知识提取方法的有效性。
介绍
语义分割是预测输入图像中每个像素的类别标签的问题。它是计算机视觉中的一项基础性工作,具有自动驾驶、视频监控、虚拟现实等多种现实应用。自全卷积神经网络(FCNs)[38]问世以来,深度神经网络一直是语义分割的主流解决方案。随后的DeepLab[5,6,7,48]、PSPNet[56]、OCNet[50]、Re- fineNet[23]、DenseASPP[46]等方法在分割精度上都取得了显著的提高,但往往模型繁琐,计算费用昂贵。
近年来,由于在移动设备上的应用需要,模型尺寸小、计算量小、分割精度高的神经网络受到了广泛的关注。目前的研究主要集中在设计轻量级的网络,专门用于分割或借鉴分类网络的设计,如ENet[31]、ESPNet[31]、ERFNet[34]和ICNet[55]。本文的研究方向是紧致分割网络,重点是利用冗余网络训练紧致网络,提高分割精度。
本文的主要贡献:
研究了用于训练精确紧凑语义分割网络的知识提取策略。
提出了两种结构化的知识精馏方案:成对精馏和整体精馏,在紧凑和繁琐的分割网络输出之间实现成对和高阶一致性
我们通过在三个基准数据集(Cityscapes[10]、CamVid[4]和ADE20K[58])上改进最近开发的最先进的紧凑细分网络ESPNet、MobileNetV2- Plus和ResNet18来证明我们的方法的有效性,如图1所示。
方法
本文的流程图:
实验和结果
论文地址:
https://arxiv.org/pdf/1903.04197.pdf
END
加群交流
欢迎加入CV联盟群了解CV和ML等领域前沿资讯
扫描添加CV联盟微信拉你进群,备注:CV联盟
热文荐读
卡内基·梅隆大学新提出AdaScale:自适应缩放实现视频对象实时检测算法
计算机视觉奠基人Alan L. Yuille :深度学习在计算机视觉中作用有限,需要找到新的突破口!