pytorch自动实现神经网络代码详解

import torch
import matplotlib.pyplot as plt
 
N, D_in, H, D_out = 64, 1000, 100, 10  # 64个训练数据（只是一个batch），输入是1000维，hidden是100维，输出是10维
 
'''随机创建一些训练数据'''
X = torch.randn(N, D_in)
y = torch.randn(N, D_out)
 
W1 = torch.randn(D_in, H, requires_grad=True)  # 1000维转成100维
W2 = torch.randn(H, D_out, requires_grad=True)  # 100维转成10维
 
learning_rate = 1e-6
all_loss = []
 
for t in range(500):  # 做500次迭代
    '''前向传播（forward pass）'''
    y_hat = X.mm(W1).clamp(min=0).mm(W2)  # N * D_out
 
    '''计算损失函数（compute loss）'''
    loss = (y_hat - y).pow(2).sum()  # 均方误差，忽略了÷N，loss就是一个计算图（computation graph）
    print("Epoch:{}   Loss:{}".format(t, loss.item()))  # 打印每个迭代的损失
    all_loss.append(loss.item())
 
    '''后向传播（backward pass）'''
    loss.backward()
 
    '''参数更新（update weights of W1 and W2）'''
    with torch.no_grad():
        W1 -= learning_rate * W1.grad
        W2 -= learning_rate * W2.grad
        W1.grad.zero_()
        W2.grad.zero_()

plt.plot(all_loss)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()

torch.randn()

torch.randn是PyTorch库中的一个函数，用于生成具有标准正态分布（均值为0，标准差为1）的随机数。

tensor = torch.randn(size)

其中size是一个表示张量形状的整数元组。

参数

• size (int...): 用来定义输出张量形状的整数序列。
• out (Tensor, 可选): 输出张量。
• dtype (torch.dtype, 可选): 输出张量的所需数据类型。
• layout (torch.layout, 可选): 输出张量的所需布局。默认为torch.strided。
• device (torch.device, 可选): 输出张量的所需设备。默认为当前设备。
• requires_grad (bool, 可选): 如果设置为True，则张量将记录其操作的计算历史，以便稍后计算梯度。默认为False。

clamp

clamp是PyTorch中的一个函数，用于将张量的每个元素限制在给定范围内。其基本用法如下：

output_tensor = input_tensor.clamp(min=value_min, max=value_max)

• input_tensor是你想要限制范围的张量。
• value_min和value_max是你想要限制的最小和最大值。

所有小于value_min的元素将被设置为value_min，所有大于value_max的元素将被设置为value_max。位于这两个值之间的元素将保持不变。

loss.item()

在PyTorch中，loss.item()是用于从只有一个元素的张量中获取其Python数值的方法。

当你计算损失（或任何其他单一数值的度量）时，结果通常是一个形状为[]的标量张量。尽管这是一个标量，但它仍然被封装在一个张量对象中。使用.item()方法可以从这个标量张量中提取出一个Python标量。

with torch.no_grad()

在pytorch进行张量计算时，会创建一个计算图。这个计算图用于跟踪所有计算操作，从而可以自动计算出梯度。

with torch.no_grad():是一个上下文管理器，在其范围内，PyTorch将不会跟踪计算图中的梯度计算。这有助于减少内存使用并提高计算速度。

在训练神经网络时，计算梯度是优化权重所必需的。但是，在某些情况下，你可能不想计算梯度。例如，在评估模型（模型推理）时，或者在手动更新权重时。

1. 模型评估: 当你只想通过网络进行前向传播以获得预测（例如，在验证集或测试集上评估模型）时，可以使用torch.no_grad()来禁用梯度计算。

2. 手动更新权重: 在训练过程中，当你想直接更新模型权重（不通过优化器）时，也可以使用此上下文管理器。

W1.grad.zero_()

在PyTorch中，每次调用.backward()方法计算梯度时，梯度会累积在.grad属性中，而不是被覆盖。这对于某些类型的模型和优化算法是必要的，因为它允许跨多个前向/后向传播步骤共享梯度信息。

然而，在标准训练循环中，你通常希望每个批次（batch）的梯度是独立计算的，不受先前批次梯度的影响。为了实现这一点，在每次权重更新后，你需要手动将梯度重置为零。

W1.grad.zero_()调用就是做这个的。这里的下划线_表示这个操作是就地（in-place）执行的，也就是说它直接修改W1.grad的内容，而不返回新的张量。

如果不清零梯度，那么下一次调用.backward()方法时，新计算的梯度将会添加到现有的梯度上，而不是替换它们。这可能会导致不正确的权重更新，因此在标准训练循环中，重置梯度是一项常见且重要的步骤。