ESPNetv2: A Light-weight, Power Efficient, and General Purpose Convolutional Neural Network

本文提出一种轻量级的体系结构ESPNetv2，可以很轻松地部署在边缘设备上。ESPNetv2是一种轻量级、能耗高效、通用的卷积神经网络，利用分组卷积和深度空洞可分离卷积学习巨大有效感受野，更少浮点计算量和参数量。

虽然现有的卷积神经网络在高端GPU上实现了高性能，但是对于资源有限的边缘设备（如手机和嵌入式计算平台），它们往往过于昂贵。因此，用于在边缘设备上运行的实际应用程序的CNNs应该是轻量、高效同时保持高精度。

构建轻量级网络主要有三个方面：（1）基于网络压缩的方法。消除预训练模型中的冗余，以提高效率。（2）基于低位表示的方法。使用少量位而不是高精度浮点来表示学习的权重。（3）轻量级CNNs。通过分解计算代价高昂的卷积运算，提高网络的效率。

我们首先描述了深度空洞可分离卷积，它使我们地网络能够有效地从一个大的有效感受野学习表征。然后，我们描述了ESPNetv2网络的核心单元，EESP单元，它是使用分组卷积和深度空洞可分离卷积构建的。

Depth-wise dilated separable convolution

相比于标准卷积，深度空洞可分离卷积分为两步：

（1）对每个输入通道执行空洞率为r的深度空洞卷积，从有效感受野学习代表性特征。

（2）标准1*1卷积学习深度空洞卷积输出的线性组合特征。

EESP unit

利用深度空洞卷积和分组卷积，我们引入了一种新的单元EESP，即深度空洞可分离卷积的高效空间金字塔，它是专门为边缘设备设计的。

ESP模块如图1（a）所示，基于reduce-split-transform-merge的策略。首先使用逐点卷积将高维输入特征图投影到低维空间，然后使用不同扩张率的空洞卷积并行学习表示。每个分支的不同扩张率允许ESP单元从一个大的有效感受野学习表征。

为了使ESP模块的计算效率更高，我们首先将逐点卷积替换为分组逐点卷积。然后将计算量大的3*3空洞卷积替换为深度空洞可分离卷积。为了消除由空洞卷积引起的网络伪影，我们使用计算效率高的层次特征融合（HFF）方法对特征图进行融合。该方法以分层的方法对使用扩张卷积学习的特征图进行额外的融合。感受野最低的分支的特征图与层级1中感受野次高的分支的特征图相结合。合成单元如图1（b）所示。

我们注意到，独立计算图1（b）中的K个逐点卷积在复杂度方面相当于具有K个分组的单一分组逐点卷积。然而，就实现而言，分组逐点卷积更有效，因为它只有一个卷积核而不是K个逐点卷积核。因此，我们将这些K个逐点卷积替换为一个分组逐点卷积，如图1（c）所示。我们将此单元称为EESP。

Strided EESP

为了在多个尺度上有效地学习表示，我们对图1c中地EESP模块进行了以下更改：（1）深度空洞卷积替换为它们的跨步对应卷积，（2）添加平均池化操作而不是标识连接，（3）element-wise addition操作替换为concatenation操作，这有助于有效地扩展特征图地维度。

在下采样核卷积操作之间，空间信息会丢失。为了更好地编码空间关系并有效地学习表示，我们在输入图像和当前下采样单元之间添加了一个有效地远程快捷连接。这个连接首先对图像进行下采样，使其与特征图大小相同，然后使用两个卷积学习表征。第一个卷积是学习空间表示地标准3*3卷积，而第二个卷积是学习输入之间线性组合的逐点卷积，并将其投影到高维空间。

Network architecture

ESPNetv2网络是使用EESP单元构建的。在每个空间级别，EESPNetv2都会多次重复EESP单元，以增加网络的深度。在EESP单元中，我们在每个卷积层之后使用批处理归一化和PReLU，但最后一个分组卷积层除外，PReLU在element-wise sum操作之后应用。为了在每个空间级别上保持相同的计算复杂度，在每次下采样操作之后，特征图都会加倍。

在我们的实验中，我们将扩张率r设置为与EESP单元（k）中的分支数成比例。EESP单元的有效感受野随K的增加而增加。为了获得有意义的卷积核，我们用空间维度W*H限制每个空间级别l的有效感受野。我们在实验中设置K=4.此外，为了具有同构的体系结构，我们将分组逐点卷积中的分组数设置为并行分支数（g=K）。不同计算复杂度下的ESPNetv2总体架构如表2所示。