深度学习
渚边白鳥
菜鸡
展开
-
训练过程中出现NaN的情况
个人遇到的情况一种是学习率设定过大,需要降低学习率,可以降低到学习率直至不出现nan为止.随着梯度更新,参数随着每轮迭代越来越大,最终超过了浮点型表示的范围,就变成了NaN。另外一种情况是训练过程中梯度过大,出现了梯度爆炸.造成更新后的值为NAN.原创 2024-06-17 16:38:29 · 260 阅读 · 0 评论 -
PyTorch加速卷积运算 torch.backends.cudnn.benchmark
cudnn.benchmark = True用于启用或禁用cuDNN的基准测试模式,基准测试模式是cuDNN的一个特性,它会自动选择对于给定任务的最优算法(cudnn.benchmark = True在程序开始时花费一点额外时间,为整个网络的每个。cuDNN 是英伟达专门为深度神经网络所开发出来的 GPU 加速库,针对卷积、池化等等常见操作做了非常多的底层优化,比一般的 GPU 程序要快很多,正常使用GPU训练的时候PyTorch会默认使用cuDNN加速。原创 2024-04-11 15:12:37 · 239 阅读 · 1 评论