deepspeed&zero及大模型显存占用

我们先来看模型训练过程中的显存占用，大模型的显存占用主要分布在两个地方：

1. 模型状态维护上

2. 激活值

这是ZeRO的论文：https://arxiv.org/pdf/1910.02054

先来看下混合精度训练, 根据ZeRO的论文，混合精度训练（Mixed-Precision Training）是当前训练大模型的SOTA的方式。这个方式上：

* 模型参数，及参与运算后计算出的激活值，以及反向传播时候的梯度值等，全部都是以fp16来存储。

* 模型梯度算出来之后，要用梯度来更新模型参数的时候，会用fp32来进行更新，也就是说，原始的参数有一份一直存着的fp32的副本。  然后一次迭代的流程应该就是（猜测）：

      *  fp32的参数副本，转一份为fp16的参数

      *  fp16的参数参与运算，算出fp16的激活值，以及fp16的梯度

      *  fp16的梯度，转为fp32的梯度

      *  fp32的梯度被用到更新fp32参数的过程中

基于上述内容，来看

先来看第一块儿：模型状态维护

1. 参与训练forward及backward过程的部分：

      模型参数本身，例如模型大小是7B，用fp16/bf16一个参数2个字节