模型压缩基础知识-模型的参数量FLOPS VS 模型的体积大小

一、模型的参数量 VS 模型的体积大小

在深度学习神经网络中，最常见的数据格式是float32，占4个字节（Byte）。类似地，float16，占2个字节。1024个字节为1KB，1024x1024个字节为1MB。那么存储10000个参数需要的内存大小为10000x4 Bytes，约为39KB。存储100万个参数需要的内存大小为39x100/1024MB，约为3.8MB。

    深度学习神经网络的参数量通常是百万级之上的，所以我们可以将3.8MB看作是一个基本单位，即每一百万个数字需要3.8MB。

    注意到，不仅仅是参数存储需要空间，数据本身（例如图像的像素、特征图中的每个元素）也是一个数字，也需要相同的存储空间。

原文链接：https://blog.csdn.net/suiyingy/article/details/125173843

计算机用 表示 一个 float32 就会用到 4 个字节 那模型参数量有61.5 M（Million） 个float32 在计算机存储时候模型的体积就是61.5M x 4个字节 = 246 MB 。

计算机用 表示 一个 float32 就会用到 4 个字节 （最常见的数据格式是float32，占4个字节（Byte）） 。 那有模型的参数量是 3.41967MB 个float32 就是 模型的大小是14007kB了噻 。

1(模型的大小)4007(KB) / 1024 / 4 = （模型参数量）3.41767MB