这里是我根据莫烦的关于神经网络的训练的代码作的一些注释
https://github.com/CleverXLH/neural-network-in-morvan-.git
以下将会具体介绍此代码中一些函数的功能与用法
torch.optim.SGD(net.parameters(), lr=0.2)
这个函数是采用随机梯度下降的方法来进行神经网络的训练,具体原理请参见我的上一篇博客
torch.nn.MSELoss()
这个是均方损失函数:loss(xi,yi)=(xi−yi)2
这里 loss, x, y 的维度是一样的,可以是向量或者矩阵,i 是下标。
很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据,因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。
optimizer.step()
optimizer.step()通常用在每个mini-batch之中,只有用了optimizer.step(),模型才会更新。
plt.ion() 与 plt.ioff()
python可视化库matplotlib有两种显示模式:
- 阻塞(block)模式
- 交互(interactive)模式
在python脚本中,matplotlib默认是阻塞模式。
在交互模式下:
plt.plot(x)或plt.imshow(x)是直接出图像,不需要plt.show()
如果在脚本中使用ion()命令开启了交互模式,没有使用ioff()关闭的话,则图像会一闪而过,并不会常留。要想防止这种情况,需要在plt.show()之前加上ioff()命令。
在阻塞模式下:
- 打开一个窗口以后必须关掉才能打开下一个新的窗口。这种情况下,默认是不能像Matlab一样同时开很多窗口进行对比的。
- plt.plot(x)或plt.imshow(x)是直接出图像,需要plt.show()后才能显示图像
plt.plot()函数细节
1、plt.plot(x,y,format_string,**kwargs) 转自点击打开链接
x轴数据,y轴数据,format_string控制曲线的格式字串
format_string 由颜色字符,风格字符,和标记字符
例如这里的
plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
将输入值与预测值对应的点按宽度为5的红色实线描述出来。