一个卷积神经网络(CNN)中包含的张量大小和参数个数的计算

最新推荐文章于 2024-05-29 13:27:18 发布

valuetimer

最新推荐文章于 2024-05-29 13:27:18 发布

阅读量9.5k

点赞数 22

分类专栏：图像处理与机器学习文章标签：卷积神经网络(CNN) 张量尺寸、参数个数深度学习人工智能

原文链接：https://www.learnopencv.com/number-of-parameters-and-tensor-sizes-in-convolutional-neural-network/

版权

图像处理与机器学习专栏收录该内容

15 篇文章 5 订阅

订阅专栏

本篇文章来自于learnopencv.com/number-of-parameters-and-tensor-sizes-in-convolutional-neural-network/，感谢原作者的详细讲解。本人增加一些白话进行补充说明，高手请绕行。~-~

在这篇文章中，我们分享了一些公式来计算张量（图像）的大小和卷积神经网络（CNN）中每一层的参数个数。此帖子不定义CNN中使用的基本术语，并假定您熟悉它们。在这篇文章中，Tensor一词仅仅是指具有任意数量通道的图像。我们将以AlexNet为例展示计算结果。因此，这里是AlexNet的架构，供参考。

AlexNet有以下几层

1、输入层：大小为227x227x3的彩色图像。AlexNet的论文提到了224×224的输入大小，但这是论文中的一个书写错误。

2、卷积层1：由96个尺寸为11×11的卷积核组成，步长为4，填充为0。

3、最大池化层1：由3×3和步长2组成。

4、卷积层2：由256个大小为5×5的卷积核组成，步长为1，填充为2。

5、最大池化层2：由3×3和步长2组成。

6、卷积层3：由384个大小为3×3的卷积核组成，步长为1，填充为1。

7、卷积层4：卷积层4与卷积层3具有相同的结构。它由384个大小为3×3的内核组成，步长为1，填充为1。

8、卷积层5：由256个大小为3×3的内核组成，步长为1，填充为1。

9、最大池化层3：由3×3和步长2组成。

10、全连接层1：第一个完全连接层有4096个神经元。

11、全连接层2：第二个完全连接层有4096个神经元。

12、全连接层3：第三个完全连接层有1000个神经元。

接下来，我们将用上面的架构来解释

1、如何计算每个阶段的张量大小

2、如何计算网络中的参数总数

卷积层输出张量（图像）的大小

我们来定义一下

O = 输出图像的大小（此处指宽度）

I = 输入图像的大小（此处指宽度）。

K = 卷积层中使用的卷积核的大小（此处指宽度）。

N = 卷积核个数。

S = 卷积运算的步长。

P = 填充个数。

输出图像的大小（O）由下式确定：

$O = \frac{I - K + 2P}{S} + 1$

输出图像中的通道数等于该卷积层的卷积核个数N。

示例：

在AlexNet中，输入图像的大小为227x227x3。即宽为227，高为227，通道数为3。卷积层1有96个卷积核，每个卷积核的大小为11x11x3，步长为4，填充为0。因此，在卷积层1之后输出图像的大小（此处指宽度）是

$O = \frac{ 227 - 11 + 2 \times 0 }{4} + 1 = 55$

因此，输出图像的大小为55x55x96（每个卷积核生成一个通道）。请读者使用上述图像作为指南来验证卷积层2、卷积层3、卷积层4和卷积层5的输出图像的大小。

Max Pool层输出张量（图像）的大小

我们来定义一下

O = 输出图像的大小（此处指宽度）。

I = 输入图像的大小（此处指宽度）。

S = 卷积运算的步长。

P_s =池大小。

输出图像的大小（O）由下式确定

$O = \frac{ I - P_s }{S} + 1$

请注意，该公式可由上一节中卷积层输出图像大小的计算公式获得，只要使填充等于零，并且 P_s 与卷积核大小K相同即可。但与卷积层不同的是，最大池化层输出的通道数不变。

例如：在AlexNet中，卷积层1之后的最大池化层的池大小为3，步长为2。我们从上一节中知道，这个阶段的图像是55x55x96。最大池化层1之后的输出图像大小（此处指宽度）

$O = \frac{ 55 - 3 }{2} + 1 = 27$

因此，输出图像的大小为27x27x96。我们留给读者来验证最大池化层2和最大池化层3输出的大小。

完全连接层输出的大小

一个完全连接层输出一个向量，该向量长度（向量的元素个数）等于层中的神经元个数。

总结：AlexNet各个层的张量大小（即每个层的神经元个数）

在AlexNet中，输入是一个大小为227x227x3的图像。在卷积层1之后，将变为为55x55x96的大小，在最大池化层1之后转换为27x27x96。在卷积层2之后，大小更改为27x27x256，并在最大池化层2之后更改为13x13x256。之后卷积层3将其转换为大小为13x13x384，而卷积层4则保持大小不变，卷积层5将更改大小为27x27x256。最后，最大池化层3将尺寸缩小到6x6x256。该图像输入全连接层1，将其转换为大小为4096×1的向量，接下来经过全连接层2，尺寸保持不变，最后，经过全连接层3之后的尺寸为1000×1。接下来，我们要计算每个卷积层中的参数个数。

卷积层的参数个数

在CNN中，每一层都有两种参数：权重和偏差。参数的总数只是所有权重和偏差的总和。

我们来定义一下：

=Conv层的权重个数

=Conv层的偏差个数

=Conv层的参数个数

K=卷积层中使用的卷积核的大小（此处指宽度）

N=卷积核个数

C=该层输入图像的通道数

$\begin{align*} W_c &= K^2 \times C \times N \\ B_c &= N \\ P_c &= W_c + B_c \end{align*}$

在卷积层中，每个卷积核的深度总是等于输入图像中的通道数。所以每个卷积核都有K^2 × C 个参数，并且有N个这样的卷积核。这就是我们得出上述公式的方法。

例如：在AlexNet中，在卷积层1中，输入图像的通道数（C）为3，卷积核大小（K）为11，卷积核数（N）为96。所以参数的个数是：

$\begin{align*} W_c &= 11^2 \times 3 \times 96 = 34,848 \\ B_c &= 96 \\ P_c &= 34,848 + 96 = 34,944 \end{align*}$

读者可以验证卷积层2、卷积层3、卷积层4、卷积层5的参数个数分别为614656、885120、1327488和884992。因此，卷积层的参数总数为3747200。你认为这是一个很大的数字？好吧，等到我们看到完全连接层，你就不会这么想了。卷积层的好处之一是，权重是共享的，因此我们的参数比我们在完全连接层的情况下要少的多。所谓权重共享的意思是，卷积层的输出结果中的每个通道由一个卷积核（仅1个）经过卷积运算获得，以卷积层1为例，它的输出为55*55*96，即共有96个通道，每个通道大小为55*55，具体到其中任意一个通道，比如第一个通道C1，由55*55个点组成，它是如何得到的呢？就是由相应的1号卷积核对输入图像（227*227*3）进行一次卷积运算得到的，生成的55*55里面的每个点所使用的权重参数都是这个1号卷积核，这就叫权重共享。

最大池化层的参数个数

没有与最大池化层相关联的参数。池的大小、步长和填充都是超参数。

全连接（FC）层的参数个数

在CNN中有两种完全连接的层。第一种是该全连接层的前面连接着最后一个卷积层，第二种是该全连接层的前面连接着其他全连接层。让我们分别考虑每一种情况。

情况1：前面连接着卷积层的全连接（FC）层的参数个数

我们来定义一下：

$W_{cf}$ =连接到卷积层的全连接层的权重个数。

$B_{cf}$ =连接到卷积层的全连接层的偏差个数。

O=前一个卷积层的输出图像的大小（宽度）。

N=前一个卷积层中的卷积核个数。

F=全连接层中的神经元个数。

$\begin{align*} W_{cf} &= O^2 \times N \times F \\ B_{cf} &= F \\ P_{cf} &= W_{cf} + B_{cf} \end{align*}$

示例：AlexNet的第一个全连接层连接到卷积层。对于这一层，O=6，N=256，F=4096。因此，

$\begin{align*} W_{cf} &= 6^2 \times 256 \times 4096 = 37,748,736\\ B_{cf} &= 4096 \\ P_{cf} &= W_{cf} + B_{cf} = 37,752,832 \end{align*}$

这一层的参数个数比所有卷积层的参数个数总和还要多！

情况2：前面连接着其它全连接层的全连接（FC）层的参数个数

我们来定义一下：

$W_{ff}$ =全连接层的权数。

$B_{ff}$ =全连接层的偏差数。

$P_{ff}$ =全连接层的参数数目。

F=全连接层中的神经元数。

$F_{-1}$ =前一个全连接层中的神经元数。

$\begin{align*} W_{ff} &= F_{-1} \times F \\ B_{ff} &= F \\ P_{ff} &= W_{ff} + B_{ff} \end{align*}$

在上述公式中， $F_{-1}$ × F是前一个全连接层到本全连接层的权重总数。偏差总数与本全连接层的神经元数（F）相同。

示例：AlexNet的最后一个全连接层连接到全连接层。对于这一层， $F_{-1}$ =4096，F=1000。因此，

$\begin{align*} W_{ff} &= 4096 \times 1000 = 4,096,000\\ B_{ff} &= 1,000 \\ P_{ff} &= W_{ff} + B_{ff} = 4,097,000 \end{align*}$

我们留给读者来验证AlexNet中全连接层2的参数总数为16,781,312。

AlexNet中参数和张量大小（神经元个数）的数目

在AlexNet中的参数总数是5个卷积层加3个全连接层中所有参数的总和。结果竟然是62378344！下表为摘要。

注：Conv ->卷积层，MaxPool -> 最大池化层， FC -> 全连接层

Layer Name	Tensor Size	Weights	Biases	Parameters
Input Image	227x227x3	0	0	0
Conv-1	55x55x96	34,848	96	34,944
MaxPool-1	27x27x96	0	0	0
Conv-2	27x27x256	614,400	256	614,656
MaxPool-2	13x13x256	0	0	0
Conv-3	13x13x384	884,736	384	885,120
Conv-4	13x13x384	1,327,104	384	1,327,488
Conv-5	13x13x256	884,736	256	884,992
MaxPool-3	6x6x256	0	0	0
FC-1	4096×1	37,748,736	4,096	37,752,832
FC-2	4096×1	16,777,216	4,096	16,781,312
FC-3	1000×1	4,096,000	1,000	4,097,000
Output	1000×1	0	0	0
Total				62,378,344

valuetimer

关注

22
点赞
踩
131

收藏

觉得还不错? 一键收藏
1
评论
一个卷积神经网络(CNN)中包含的张量大小和参数个数的计算

本篇文章来自于learnopencv.com/number-of-parameters-and-tensor-sizes-in-convolutional-neural-network/，感谢原作者的详细讲解。本人增加一些白话进行补充说明，高手请绕行。~-~在这篇文章中，我们分享了一些公式来计算张量（图像）的大小和卷积神经网络（CNN）中每一层的参数个数。此帖子不定义CNN中使用的基本术语...
复制链接

扫一扫

专栏目录