【KAWAKO】模型的压缩、扩张，计算模型的各种成本

最新推荐文章于 2023-09-19 11:07:34 发布

KKK_KAWAKO

最新推荐文章于 2023-09-19 11:07:34 发布

阅读量1.2k

点赞数 4

分类专栏： CNN 文章标签：深度学习神经网络机器学习

本文链接：https://blog.csdn.net/qq_40944311/article/details/116736848

版权

CNN 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

给自己挖个坑，这些都是工程上需要掌握的知识。

模型压缩

量化

将高精度数据转为低精度格式，可以加快运算速度，同时也会降低网络推理的精度。

一般来说会将数据从浮点型转为int8型，有时会转为int16型。

量化后可以重新训练，恢复部分精度。

基于MNN的训练量化实现过程可以参考这篇博客

稀疏化训练

剪枝

知识蒸馏

自蒸馏

集成

使用精细化模型结构

模型扩张

深度

宽度

输入图像的分辨率

深度、宽度、分辨率联合扩张

使用精细化模型结构

计算模型的各种成本

torchsummary是个不错的库，可以使用它查看网络结构、参数量和模型大小等信息。目前我发现的不足是无法支持LSTM（但是可以支持GRU）。这里使用之前写的AlexNet举个例子。

首先导入库，然后加载模型，最后使用summary函数并指定输入大小。

import models
from torchsummary import summary

model = models.AlexNet(outputdim=1000)
summary(model,(3,224,224))

输出如下。

参数量

在打印出来的网络结构下面的三行，这些参数是通过其上方打印出来的网络结构右侧各层的参数量相加得到的。

Total params: 共计参数量
Trainable params: 可训练参数量
Non-trainable params: 不可训练参数量

各种操作的参数量计算方法

卷积参数量：(kernel_width * kernel_height * input_channels + bias_num) * output_channels PS：如果没有bias则bias_num为0，有bias则bias_num为1
全连接层参数量：(input_params + bias_num) * output_params PS：同上

占用空间

在打印出的信息的最后四行。

Input size (MB): 使用torchsummary时喂进去的输入大小。一般来说输入的batch_size默认为1，所以这里呈现的就是一份输入的大小。 Input size = input_datas * 4 / 1024 / 1024 PS：乘4是因为默认数据格式是float32，占4字节，除以两次1024是将Byte转为MB
Forward/backward pass size (MB): 网络中所有输出的大小（打印出来的网络结构中的output shape中的输出大小）的和的两倍（一次前向，一次反向）。这个数值的具体含义我目前还没有理解透彻。 PS：同样需要乘4、除以两次1024
Params size (MB): 上文中计算出来的总参数量的大小。 Params size = Total_params * 4 / 1024 / 1024 PS：同样需要乘4、除以两次1024
Estimated Total Size (MB): 总大小。

如果使用 ↓ 来保存模型（只保存参数），保存出来的模型大小与 Params size 几乎相同。

torch.save(model.state_dict(), 'trainedModels/test.pth')

计算量（FLOPS、FLOPs）

FLOPS

每秒浮点运算次数。一般来说硬件的FLOPS以T或P来评估。

不同硬件的FLOPS可以直接查到或根据其核心频率计算得到。

FLOPs

浮点运算数、模型计算量。

卷积：FLOPs = kernel_width * kernel_height * input_channels * output_width * output_height * output_channels
池化：FLOPs = kernel_width * kernel_height * output_width * output_height * output_channels
全局池化：FLOPs = input_width * intput_height * intput_channels
深度可分离卷积：FLOPs = input_channels * output_width * output_height * (kernel_width * kernel_height + output_channels)
ReLU：FLOPs = input_width * intput_height * intput_channels
Sigmoid：FLOPs = input_width * intput_height * intput_channels * 4
全连接：FLOPs = （input_channels * 2 + 1) * output_channels
BatchNormalization：FLOPs可以忽略，因为推理时没有用到

以上计算公式参考了这篇知乎。

从卷积的FLOPs计算公式中可以应证在Efficientnet那篇论文中提到的

将深度扩大两倍，FLOPs会扩大两倍。但是将宽度或输入图像的分辨率扩大两倍，FLOPs会扩大四倍。

同样的，如果我们减小一半深度，FLOPs会减小一半；减小一半宽度或输入图像的分辨率，FLOPs会减小四分之一。

使用thop库可以查看FLOPs和总参数量。用下面的代码把summary和thop的输出做一个对比。

import models
from torchsummary import summary
import torch
from thop import profile

model = models.AlexNet(outputdim=1000)
summary(model,(3,224,224))

input = torch.randn(1,3,224,224)
flops, params = profile(model, (input,))
print("flops = ", flops)
print("params = ", params)