Pytorch 学习 （2）

Pytorch 学习 （2）

过年回家，继续学习pytorch。又是一个优秀的人儿。

1.对神经网络的理解

神经网络结构实例如下：

训练一个神经网络的简单过程如下：

• 定义一个具有权重的神经网络
• 对整个输入的数据集进行迭代
• 用神经网络对输入进行处理
• 计算损失函数（即输出与标签的差值）
• 反向传播梯度对参数值进行修正
• 权重等于权重减去学习率与梯度的乘积

代码如下：

笔记存疑：

1. num_flat_features()函数在被调用的后面，逻辑上显得不通顺。
2. 16 * 6 * 6的原因不是很清楚，后面的6*6哪来的。
3. num_flat_features()为什么这样写不是很清楚。

Pytorch的一大优势就是你只要定义网络向前传播的结构，对于梯度的反向传导可以自动完成。Pytorch中Variable变量包含数据值，梯度值，计算梯度的函数。

我们可以利用定义好的网络做一次简单的前向运算，代码如下：

其中，torch.randn(1,1,32,32)是batch_size=1, 图像通道数为1，图像尺寸为32x32。
接着，我们将网络的梯度置零，用随机生成的数作为梯度向后传播，代码如下：

注意：

1. torch.nn只支持小批量输入，而不接受单个样本。
2. 举个例子，nn.Conv2d的输入为nSamplesnChannelsHeight*Width
3. 如果你只有一个样本，你可以在代码中添加input.unsqueeze(0)作为一个伪批处理维度。

2.损失函数的计算

就算损失函数的简单过程如下：

output = net(input)
target = torch.randn(10)
target =target.view(1, -1)  #不是很清楚这一步干了什么，只知道是为了与输出有相同的形状，方便计算。
criterion = nn.MSELoss()

loss = criterion(output, target)
print(loss)

注意：
loss.backward()即可实现梯度的反向传播，每次反向传播完成后，要对梯度清零，否则梯度会逐渐累积。梯度清零的代码为：net.zero_grad().