卷积神经网络的复杂度分析

最新推荐文章于 2023-10-23 09:13:07 发布

Tom Hardy

最新推荐文章于 2023-10-23 09:13:07 发布

阅读量645

点赞数

文章标签：卷积算法神经网络计算机视觉机器学习

原文链接：https://mp.weixin.qq.com/s?__biz=MzI2Nzg4NjA5OQ==&mid=2247506911&idx=2&sn=82dd93337554fc926ecd1a3126c5afc0&chksm=eafa90a3dd8d19b5c49b1e06b94844a90d35f90e12591017d87f7e2bfa07065d9c0f28dd7f15&scene=126&&sessionid=0

版权

作者 | Michael Yuan@知乎（已授权）
来源 | https://zhuanlan.zhihu.com/p/31575074

编辑丨极市平台

导读

在梳理CNN经典模型的过程中，作者理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，因此今天就让我们对卷积神经网络的复杂度分析简单总结一下。

在梳理CNN经典模型的过程中，我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，因此今天就让我们对卷积神经网络的复杂度分析简单总结一下下。

时间复杂度

即模型的运算次数，可用衡量，也就是浮点运算次数（FLoating-point OPerations）。

1.1 单个卷积层的时间复杂度

每个卷积核输出特征图的边长
每个卷积核的边长
每个卷积核的通道数，也即输入通道数，也即上一层的输出通道数。
本卷积层具有的卷积核个数，也即输出通道数。
可见，每个卷积层的时间复杂度由输出特征图面积、卷积核面、输入和输出通道数完全决定。
其中，输出特征图尺寸本身又由输入矩阵尺寸、卷积核尺寸、这四个参数所决定，表示如下：

注1：为了简化表达式中的变量个数，这里统一假设输入和卷积核的形状都是正方形。
注2：严格来讲每层应该还包含 1 个参数，这里为了简洁就省略了。

1.2 卷积神经网络整体的时间复杂度

神经网络所具有的卷积层数，也即网络的深度。
神经网络第个卷积层
神经网络第个卷积层的输出通道数，也即该层的卷积核个数。
对于第个卷积层而言，其输入通道数就是第个卷积层的输出通道数。
可见，CNN整体的时间复杂度并不神秘，只是所有卷积层的时间复杂度累加而已。
简而言之，层内连乘，层间累加。

示例：用 Numpy 手动简单实现二维卷积

假设 Stride = 1, Padding = 0, img 和 kernel 都是 np.ndarray.

def conv2d(img, kernel):
    height, width, in_channels = img.shape
    kernel_height, kernel_width, in_channels, out_channels = kernel.shape
    out_height = height - kernel_height + 1
    out_width = width - kernel_width + 1
    feature_maps = np.zeros(shape=(out_height, out_width, out_channels))
    for oc in range(out_channels):              # Iterate out_channels (# of kernels)
        for h in range(out_height):             # Iterate out_height
            for w in range(out_width):          # Iterate out_width
                for ic in range(in_channels):   # Iterate in_channels
                    patch = img[h: h + kernel_height, w: w + kernel_width, ic]
                    feature_maps[h, w, oc] += np.sum(patch * kernel[:, :, ic, oc])

    return feature_maps

空间复杂度

空间复杂度（访存量），严格来讲包括两部分：总参数量 + 各层输出特征图。

参数量：模型所有带参数的层的权重参数总量（即模型体积，下式第一个求和表达式）
特征图：模型在实时运行过程中每层所计算出的输出特征图大小（下式第二个求和表达式）

总参数量只与卷积核的尺寸、通道数、层数相关，而与输入数据的大小无关。
输出特征图的空间占用比较容易，就是其空间尺寸和通道数的连乘。
注：实际上有些层（例如 ReLU）其实是可以通过原位运算完成的，此时就不用统计输出特征图这一项了。

复杂度对模型的影响

时间复杂度决定了模型的训练/预测时间。如果复杂度过高，则会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到快速的预测。
空间复杂度决定了模型的参数数量。由于维度诅咒的限制，模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不会太大，这会导致模型的训练更容易过拟合。
当我们需要裁剪模型时，由于卷积核的空间尺寸通常已经很小（3x3），而网络的深度又与模型的表征能力紧密相关，不宜过多削减，因此模型裁剪通常最先下手的地方就是通道数。

Inception 系列模型是如何优化复杂度的

通过五个小例子说明模型的演进过程中是如何优化复杂度的。

4.1 中的 卷积降维同时优化时间复杂度和空间复杂度

（图像被压缩的惨不忍睹...）

InceptionV1 借鉴了 Network in Network 的思想，在一个 Inception Module 中构造了四个并行的不同尺寸的卷积/池化模块（上图左），有效的提升了网络的宽度。但是这么做也造成了网络的时间和空间复杂度的激增。对策就是添加 1 x 1 卷积（上图右红色模块）将输入通道数先降到一个较低的值，再进行真正的卷积。
以 InceptionV1 论文中的 (3b) 模块为例（可以点击上图看超级精美的大图），输入尺寸为，卷积核个，卷积核个，卷积核个，卷积核一律采用 Same Padding 确保输出不改变尺寸。
在卷积分支上加入个卷积前后的时间复杂度对比如下式：
同理，在卷积分支上加入个卷积前后的时间复杂度对比如下式：

可见，使用卷积降维可以降低时间复杂度3倍以上。该层完整的运算量可以在论文中查到，为 300 M，即。
另一方面，我们同样可以简单分析一下这一层参数量在使用 1 x 1 卷积前后的变化。可以看到，由于 1 x 1 卷积的添加，3 x 3 和 5 x 5 卷积核的参数量得以降低 4 倍，因此本层的参数量从 1000 K 降低到 300 K 左右。

4.2 中使用 代替

全连接层可以视为一种特殊的卷积层，其卷积核尺寸与输入矩阵尺寸一模一样。每个卷积核的输出特征图是一个标量点，即。复杂度分析如下：
可见，与真正的卷积层不同，全连接层的空间复杂度与输入数据的尺寸密切相关。因此如果输入图像尺寸越大，模型的体积也就会越大，这显然是不可接受的。例如早期的VGG系列模型，其 90% 的参数都耗费在全连接层上。
InceptionV1 中使用的全局平均池化 GAP 改善了这个问题。由于每个卷积核输出的特征图在经过全局平均池化后都会直接精炼成一个标量点，因此全连接层的复杂度不再与输入图像尺寸有关，运算量和参数数量都得以大规模削减。复杂度分析如下：

4.3 中使用两个 卷积级联替代 卷积分支

感受野不变

根据上面提到的二维卷积输入输出尺寸关系公式，可知：对于同一个输入尺寸，单个卷积的输出与两个卷积级联输出的尺寸完全一样，即感受野相同。
同样根据上面提到的复杂度分析公式，可知：这种替换能够非常有效的降低时间和空间复杂度。我们可以把辛辛苦苦省出来的这些复杂度用来提升模型的深度和宽度，使得我们的模型能够在复杂度不变的前提下，具有更大的容量，爽爽的。
同样以 InceptionV1 里的 (3b) 模块为例，替换前后的卷积分支复杂度如下：

4.4 中使用与卷积级联替代卷积

InceptionV3 中提出了卷积的 Factorization，在确保感受野不变的前提下进一步简化。
复杂度的改善同理可得，不再赘述。

4.5 中使用

我们之前讨论的都是标准卷积运算，每个卷积核都对输入的所有通道进行卷积。
Xception 模型挑战了这个思维定势，它让每个卷积核只负责输入的某一个通道，这就是所谓的 Depth-wise Separable Convolution。
从输入通道的视角看，标准卷积中每个输入通道都会被所有卷积核蹂躏一遍，而 Xception 中每个输入通道只会被对应的一个卷积核扫描，降低了模型的冗余度。
标准卷积与可分离卷积的时间复杂度对比：可以看到本质上是把连乘转化成为相加。

总结

通过上面的推导和经典模型的案例分析，我们可以清楚的看到其实很多创新点都是围绕模型复杂度的优化展开的，其基本逻辑就是乘变加。模型的优化换来了更少的运算次数和更少的参数数量，一方面促使我们能够构建更轻更快的模型（例如MobileNet），一方面促使我们能够构建更深更宽的网络（例如Xception），提升模型的容量，打败各种大怪兽，欧耶~

参考论文

https://arxiv.org/abs/1412.1710
https://arxiv.org/abs/1409.4842
https://arxiv.org/abs/1502.03167
https://arxiv.org/abs/1512.00567
https://arxiv.org/abs/1610.0235

本文仅做学术分享，如有侵权，请联系删文。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：