「Computer Vision」Note on ESPNetv2

QQ Group: 428014259
Sina Weibo：小锋子Shawn
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/85039078

作者：Sachin Mehta, Mohammad Rastegari, Linda Shapiro, Hannaneh Hajishirzi
单位：University of Washington, Allen Institute for AI (AI2), XNOR.AI

题目体现了ESPNet的野心：轻量，省电，通用；看来它可以和MobileNet，ShuffleNet三分天下。

0 摘要

涉及分组逐点卷积（group point-wise convolution）和逐层空洞分离卷积（depth-wise dilated separable convolution）。评估任务包括，目标分类（ImageNet），语义分割（Cityscapes）和语言建模（PenTree），看来确实通用。

1 介绍

提及轻量网络建立方法可分为：1、基于网络压缩的方法，即剪枝pruning；2、低比特表征方法；3、直接学习轻量卷积网络，主要是因子分解卷积操作。提及核心building block，EESP单元。提及好于MobileNetv2和ShuffleNetv2。提及cycling learning rate schedule和warm restarts。

2 相关工作

略

3 ESPNetv2

3.1 逐层空洞分离卷积

逐层空洞分离卷积类似于逐层分类卷积，将标准卷积因子分解为两层，第一层为逐层空洞分离卷积，即逐层分离卷积中使用空洞卷积，第二层为逐点卷积。标准卷积的计算代价为$n^{2}c\hat{c}$，逐层空洞分离卷积和逐层分离卷积的计算代价是一样的，为$n^{2}c+c\hat{c}$。假设卷积核大小为$n\times n=3\times 3$，输入通道数为$n=64$，输出通道数为$\hat{c}=128$，则计算代价比为$\frac{73728}{8768}\approx 8.4$倍。不同卷积的参数量和理论感受野的比较见原文Table 1[1]。

3.2 EESP单元

EESP为Extremely Efficient Spatial Pyramid of Depth-wise Dilated Separable Convolutions。
ESPNet的ESP单元，和ESPNetv2的EESP单元，分别如图1(a)和(b)所示，其中©为使用分组逐点卷积，而(b)为使用逐点卷积，计算复杂度是相等的。

带有长范围捷径连接的EESP单元如图2所示，在EESP(图1©)中，做了三点改变。其一为，逐层空洞分离卷积使用带步长较大的卷积。其二为，增加了平均值池化。其三为，逐元素相加替换为级联concatenation。

3.3 网络结构

见原文Table 2。

4 实验

4.1 图像分类

cycling learning rate policy如图4所示。

4.2 语义分割

[1] ESPNetv2 A Light-weight Power Efficient and General Purpose Convolutional Neural Network ArXiv 2018 [paper] [code]