深度学习（4）——以AlexNet为例计算神经网络的参数量parameters和浮点运算次数FLOPs

上一片博客(指路)末尾有提到计算公式，这里就不再赘述了放个截图。

本文将以AlexNet为例，计算AlexNet参数量量和浮点运算次数。

计算参数量

1.首先回顾参数量的计算公式：
如果输入是C channel ×H×W；卷积核是C inchannel × M outchannel ×K ×K；
parameters = [（K ×K）×C inchannel ]×M outchannel+M
2.分析AlexNet网络结构

共进行五次卷积操作,各层之间的kernel大小和输出feature尺寸下图中给出：

各层参数：
parameters = [（K ×K）×C ]×M+M
CONV1:
parameters1 = 11×11×3×96+96=34944

CONV2:
parameters2 = 5×5×96×256+256=307456

CONV3:
parameters3 = 3×3×256×384+384=885120

CONV4:
parameters4 = 3×3×384×384+384=663936

CONV5:
parameters5 = 3×3×384×256+256=442624

FC1:
parameters6 = 6×6×256×4096+4096=37752832

FC2:
parameters7 = 4069×4096+4096=16781312

FC3:
parameters8 = 4069×1000+1000=4097000

计算FLOPs

FLOPs = parameters×H×W
CONV1
FLOPs = parameter1×H×W=34944×55×55

CONV2
FLOPs = parameter2×H×W=307456×27×27

CONV3
FLOPs = parameter3×H×W=34944×13×13

CONV4
FLOPs = parameter4×H×W=34944×13×13

CONV5
FLOPs = parameter5×H×W=34944×13×13

FC1

全连接层不存在权值共享，所以 FLOPs=parameters

FLOPs=parameters=37752832

FC2
FLOPs=parameters=16781312

FC3
FLOPs=parameters=4097000

最后，贴一张百度百科的图：

代码实现

参考GitHub地址FLOPs计算

import torchvision.models as models
import torch
from ptflops import get_model_complexity_info

with torch.cuda.device(0):
  #net = models.alexnet()
  net = models.resnet50()
  macs, params = get_model_complexity_info(net, (3, 224, 224), as_strings=True,
                                           print_per_layer_stat=True, verbose=True)

print('{:<30}  {:<8}'.format('Computational complexity: ', macs))
print('{:<30}  {:<8}'.format('Number of parameters: ', params))

Alexnet: