视频教程: 一、分布式数据并行，模型并行的基本概念。DP DDP分布式数据并行：
1.1 数据并行 模型并行 DP DDP Zero分布式并行_哔哩哔哩_bilibili
二、ZeRO分布式数据并行方案，zero1，zero2，zero3：
1.2 zero分布式数据并行方案 zero1，zero2，zero3
ZeRO++ 分布式数据并行
ZeRO++是对ZeRO3的通信优化
优化了以下三个方面：
1、每个服务器有完整的模型参数，消除跨服务器的All_gather操作；
2、通信时，基于块的量化，模型参数从FP16转换成INT8；
3、替代ring-based ReduceScatter通信，改为分层级的量化 AllToALL；
三、Zero++分布式并行 数据并行《ZeRO++: Extremely Efficient Collective Communication for Large Model Training》
1.3 Zero++分布式并行 数据并行 ZeRO++: Extremely Efficient Collective Communication for_哔哩哔哩_bilibili
162
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
