- 博客(2)
- 收藏
- 关注
RSS订阅原创 torch.backends.cudnn.benchmark标志位
我们就可以在Pytorch中对模型里的卷积层进行预先的优化，也就是在每个卷积层中测试cuDNN提供的所有卷积实现算法，就可以较大幅度减少训练时间。在使用GPU的时候， PyTorch会默认使用cuDNN加速，但是，在使用cuDNN的时候，这段代码一般放在训练代码的开头，比如再设置使用GPU的同时，加在后面。应该可以保证每次运行网络的时候相同输入的输出是固定的。如果我们的网络模型一直变的话，不能设置。如果在 PyTorch 程序中设置了。因为寻找最优卷积算法需要花费时间。cuDNN是GPU加速库。
2024-04-20 08:59:56
178
原创 pytorch学习记录
上述的参数显然可以直接用一个变量直接定义超参。但是缺点是在用保存的时候不能保存在参数里面，只能用文本文件保存在外面。不能直接用torch.load加载，不是很方便。举个例子，假设你有100个超参，难不成要一个一个记录之后，手动造轮子解析保存的txt嘛？当然也行但是麻烦。成员变量：不更新，但是不算是模型中的参数（model.state_dict()）会自动成为模型中的参数随着模型移动（gpu/cpu）而移动但是不会随着梯度进行更新。
2024-04-18 14:50:48
260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人