Zero Infinity原理

如上图，一次加载一个layer的一个weights分片（一层的1/DP的参数量），Broadcast至所有rank，计算各自的梯度，再Reduce至其中一个负责的rank，offload存放至CPU Memory，释放GPU里的weights和梯度；之后再对本layer的下一个weights分片，重复该操作；

Zero-Offload是和Zero-2一起用的；

Zero-Infinity适合Zero-3一起用的；

1. Infinity offload engine

用来在GPU Memory、CPU Memory、NVMe(SSD)之间搬运模型states的组件；

Pinned memory管理器：尽量复用同一块pinned memory，以减少内存碎片；直接在pinned memory里计算（例如optimizer更新），省得搬运的时候又要copy一遍；

-----------

2. activations的CPU offload

将用于backward的activations，offload至CPU memory；

-----------

3. Memory-centric tiling

遇到大的operator，显存放不下整个weights矩阵。则将其分片，每次一片的