开激活重计算
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/df0844372661b71790608866099ba7d5.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/2dd141cd6de870e6be532810c72f77fb.png)
GPU利用率一般在 0.3 - 0.55 之间,假定为0.45
4090 理论性能:FP16:82.58 TFLOPS
不开激活重计算
![](https://i-blog.csdnimg.cn/blog_migrate/07d7e03d8273a9a2e3a05f48f162a58f.png)
我们来说一下系数8或6是怎么来的:
- 对于每个模型参数,都进行2次浮点数计算,即计算Y = AB 时,先将元素按位相乘,再按位相加,因此每个参数都需要进行两次浮点数运算。
- 反向传播的计算量是前向传播时的两倍
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/a790894020a0b38ad8eb700f1d736355.png)
个人理解,对每个参数而言,反向传播时需要计算:一阶导数、二阶导数、梯度累积、参数更新。总共四次运算,前向传播只需要计算两次,因此计算量是前向计算的两倍</