计算网络中的参数量(param)和浮点计算量(FLOPs)

手动计算：

先上公式。
$para{m}_{conv}=(k_w\ast k_h\ast c_{in})\ast c_{out}+c_{out}$
$FLOP{s}_{conv}=[(k_w\ast k_h\ast c_{in})\ast c_{out}+c_{out}]\ast H\ast W$
$para{m}_{fc}=(n_{in}\ast n_{out})+n_{out}$
$FLOP{s}_{fc}=(n_{in}\ast n_{out})+n_{out}$

parameter的计算

卷积层的parameter: 记卷积核的宽为$k_w$，卷积核的高为$k_h$，输入这一层的通道数是$c_{in}$，这一层输出的通道数是c_out，则这个卷积层的参数量是$(k_w\ast k_h\ast c_{in})\ast c_{out}+c_{out}$。其中，$(k_w\ast k_h\ast c_{in})\ast c_{out}$是权重的数量，最后加的$c_{o}ut$是偏置的数量。可以看出，卷积层的参数量只与卷积核的大小和输入输出的通道数有关。

全连接层的parameter: 因为全连接层中，会把输入先拉伸成一个flat的一维向量，原本feature map中的每个像素都变成一个结点，然后这一层的每个结点都会融合前面所有结点的信息，然后加上偏置。假设这一层的输入拉伸成flat向量之后结点数为$n_{in}$，这一层的输出结点数为$n_{out}$，则这个全连接层的参数量是$(n_{in}\ast n_{out})+n_{out}$。可以看出，全连接层参数量只与输入输出结点数有关。

FLOPs的计算

FLOPs是floating points of operations，是浮点运算次数，用来衡量模型的计算复杂度。计算FLOPs实际上是计算模型中乘法运算和加法运算的次数。（FLOPS与FLOPs的不同）

卷积层的FLOPs计算方法：卷积层所得到的每个feature map都是卷积核经过$(k_w\ast k_h\ast c_{in})\ast c_{out}+c_{out}$次运算得到的，(其中乘法运算次数为$(k_w\ast k_h\ast c_{in})\ast c_{out}$，加法运算次数为$c_{out}$)。假设这一层输出的feature map是$H\ast W$的，那这一层的浮点运算次数是$[(k_w\ast k_h\ast c_{in})\ast c_{out}+c_{out}]\ast H\ast W$。观察可以发现，其实就是$nu{m}_{param}\ast H\ast W$。可以看出来，浮点运算次数不仅取决于卷积核的大小和输入输出通道数，还取决于特征图的大小。

全连接层的FLOPs计算方法：全连接层的输出是经过$(n_{in}\ast n_{out})+n_{out}$次计算得到的，所以全连接层的FLOPs和参数量是相同的。

举个栗子~

在AlexNet中，以第一个卷积层和第二个全连接层的计算为例。第一个卷积层卷积核是11* 11 * 3 * 96的，如果在实现的时候加了偏置，那这一层的parameter为11* 11 * 3 * 96 + 96 =34944，FLOPs为34944 * 55 * 55 =105705600。如果在实现的时候加了批量正则化而不使用偏置，则parameter为11* 11 * 3 * 96=34848，FLOPs为34848 * 55 * 55=105415200。

第二个卷积层输入的结点数是2048，输出结点数也是2048，所以使用偏置时的parameter是20482048+2048=4196352，FLOPs同为4196352，不使用偏置时的参数量时20482048=4194304，FLOPs同为4194304。

通过代码自动计算：

g=tf.Graph() #实例化一个类，用于 tensorflow 计算和表示用的数据流图
with g.as_default():
    model = ResNet('resnet164',27, 10, 1) #建一个模型
    flops=tf.profiler.profile(g, options = tf.profiler.ProfileOptionBuilder.float_operation()) #计算浮点运算次数
    params = tf.profiler.profile(g, options=tf.profiler.ProfileOptionBuilder.trainable_variables_parameter()) #计算参数量
    print('original flops:',flops.total_float_ops)
    print('original params:',params.total_parameters)