一、单机多卡并行 1、单机多卡 2、数据并行和模型并行 3、数据并行的流程:读取一个数据块--拿回参数--计算梯度--发出梯度--更新梯度 4、总结 当一个模型能用单卡计算时,通常使用数据并行拓展到多卡上模型并行则用在超大模型上 二、问题 听得有点不知所措