MLOPS:大数据/服务器下的大规模机器学习技术—并行计算技术的简介、训练大模型3+分布式并行策略:数据并行DP【MPI/Hadoop】、模型并行MP【Megatron-LM/PaLM】、管道并行PP【多核CPU/GPU】)、两种实现方式(算法并行、框架并行)之详细攻略
目录
DNN之LNN:训练大型神经网络的核心技术(数据并行+管道并行+张量并行+专家混合MoE+内存优化策略【CheckPoint/MP/Offloading/优化器内存优化/压缩技术)
1、并行计算技术的概述:数据并行+模型并行+管道并行+多维混合并行+自动并行+优化器相关的并行
1.2、数据并行模式的发展:DP(单机单进程内多线程)→DDP(多机多进程)→FSDP(算子间并行=多切各自负责+勿需参数同步+共享信息)
(1)、FSDP的概述(更少的GPU训练更大的模型):基于ZeRO3的思想、算子间并行=多切各自负责+勿需参数同步+共享信息
二、ML实现方式(算法并行/框架并行)——机器学习算法或框架中并行计算技巧实现的简介
T1、算法并行:LIBSVM库、n_jobs参数、LightGBM自带、Rabit(XGBoost)、GPU并行(DNN)