常用代码记录

EdwardLocke

于 2021-10-15 20:25:54 发布

阅读量63

点赞数

文章标签： python

本文链接：https://blog.csdn.net/weixin_42138931/article/details/120790160

版权

本文介绍了如何使用visdom进行代码调试，并详细讲解了如何在PyTorch中停止不必要的计算图构建，以及如何在模型测试阶段正确运用全局Batch Normalization (BN)和Dropout。通过实例演示了如何在训练过程中保持BN的稳定性和Dropout的全连接模式。

摘要由CSDN通过智能技术生成

一、调试

visdom可视化需要在命令行中开启服务器：

// 开启visdom服务器
python -m visdom.server

接着在本地浏览器输入 http://localhost:8097/ 即可打开可视化窗口。

// 被包含在内的计算，没有梯度等信息
with torch.no_grad():

在使用pytorch时，并不是所有的操作都需要进行计算图的生成（计算过程的构建，以便梯度反向传播等操作）。而对于tensor的计算操作，默认是要进行计算图的构建的，在这种情况下，可以使用 with torch.no_grad():，强制之后的内容不进行计算图构建。

// model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。
// 对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。
model.eval()

关注