Pytorch 学习 (二十八）----- 多GPU使用时的一个注意事项

总说

有时候，我们构建一种中间特征的loss。需要拿到feature，然后这个 feature 和 target_feat 比较。不要直接在model的forward中求loss，否则只能在单GPU上跑。而是最终将feature和target_feat都返回，在train里面，此时这些返回的 feat会自动变成 主GPU上的tensor，从而不会有tensor不在同一个device的问题。