- 博客(3)
- 收藏
- 关注
原创 博客摘录「 PyTorch学习笔记(二):PyTorch简介与基础知识」2024年5月25日
并行计算方法:Network partitioning:将一个模型网络的各部分拆分,分配到不同的GPU中,执行不同的计算任务Layer-wise partitioning:将同一层模型拆分,分配到不同的GPU中,训练同一层模型的部分任务Data parallelism(主流):将不同的数据分配到不同的GPU中,执行相同的任务。
2024-05-25 18:13:53 203
原创 博客摘录「 Pytorch学习笔记总结」2024年5月25日
使用迭代器分次获取数据,迭代器生成之后用next来取值,第一个元素也用next,而迭代器会自动变化。
2024-05-25 18:13:02 176
原创 博客摘录「 Pytorch学习笔记总结」2024年5月25日
这个真的非常重要,在训练模型时,以为是梯度没有传递,但实际上是因为backward之前都需要清零梯度。要是想看到梯度,应该在.backward之后看本次的。调用前需要清除已存在的梯度,否则梯度会累加到已存在的梯度。
2024-05-25 18:10:44 170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人