并行计算方法:Network partitioning:将一个模型网络的各部分拆分,分配到不同的GPU中,执行不同的计算任务Layer-wise partitioning:将同一层模型拆分,分配到不同的GPU中,训练同一层模型的部分任务Data parallelism(主流):将不同的数据分配到不同的GPU中,执行相同的任务
博客摘录「 PyTorch学习笔记(二):PyTorch简介与基础知识」2024年5月25日
最新推荐文章于 2024-09-28 21:20:29 发布
并行计算方法:Network partitioning:将一个模型网络的各部分拆分,分配到不同的GPU中,执行不同的计算任务Layer-wise partitioning:将同一层模型拆分,分配到不同的GPU中,训练同一层模型的部分任务Data parallelism(主流):将不同的数据分配到不同的GPU中,执行相同的任务