计算机视觉+人工智能面试笔试总结——神经网络模型复杂度

目录

1.计算平台主要有两个指标：算力和 带宽

2.和计算平台的两个指标相呼应，模型也有两个主要的反馈速度的**间接指标**：计算量 `FLOPs` 和访存量 `MAC`。

3.Roofline 模型

4.模型计算量分析

5.FLOPs

6.FLOPS

7.MACCs

8.卷积层FLOPs计算

9.模型参数量分析

10.卷积层参数量

11.BN层参数量

12.全连接层参数量

---

1.计算平台主要有两个指标：算力和 带宽

- 算力指的是计算平台每秒完成的最大浮点运算次数，单位是 `FLOPS`
- 带宽指的是计算平台一次每秒最多能搬运多少数据（每秒能完成的内存交换量），单位是 `Byte/s`。

计算强度上限 $I_{max}$，上面两个指标相除得到计算平台的**计算强度上限**。它描述了单位内存交换最多用来进行多少次计算，单位是 `FLOPs/Byte`。

I_{max} = \frac {\pi }{\beta}

> 这里所说的“内存”是广义上的内存。对于 `CPU` 而言指的就是真正的内存（`RAM`）；而对于 `GPU` 则指的是显存。