一、调试
1.1 visdom
visdom可视化需要在命令行中开启服务器:
// 开启visdom服务器
python -m visdom.server
接着在本地浏览器输入 http://localhost:8097/ 即可打开可视化窗口。
二、训练
2.1
三、测试
3.1 停止计算图的构建
// 被包含在内的计算,没有梯度等信息
with torch.no_grad():
在使用pytorch时,并不是所有的操作都需要进行计算图的生成(计算过程的构建,以便梯度反向传播等操作)。而对于tensor的计算操作,默认是要进行计算图的构建的,在这种情况下,可以使用 with torch.no_grad():,强制之后的内容不进行计算图构建。
3.2 使用全局BN和Dropout
// model.eval()是保证BN层能够用全部训练数据的均值和方差,即测试过程中要保证BN层的均值和方差不变。
// 对于Dropout,model.eval()是利用到了所有网络连接,即不进行随机舍弃神经元。
model.eval()