李沐动手深度学习中的grad can be implicitly created only for scalar out问题

解法一：哔哩哔哩中的解法

d2l包中封装的函数有问题，和前面课程里实现的有点不一样所以会出问题。把anaconda\envs\d2l\Lib\site-packages\d2l\torch.py 中的243行的函数改成：

# Defined in file: ./chapter_linear-networks/softmax-regression-scratch.md

def train_epoch_ch3(net, train_iter, loss, updater):

    """The training loop defined in Chapter 3."""

    # Set the model to training mode

    if isinstance(net, torch.nn.Module):

        net.train()

    # Sum of training loss, sum of training accuracy, no. of examples

    metric = Accumulator(3)

    for X, y in train_iter:

        # Compute gradients and update parameters

        y_hat = net(X)

        l = loss(y_hat, y)

        if isinstance(updater, torch.optim.Optimizer):

            # Using PyTorch in-built optimizer & loss criterion

            updater.zero_grad()

            l.mean().backward()

            updater.step()

            #metric.add(float(l) * len(y), accuracy(y_hat, y),

            #           y.size().numel())

        else:

            # Using custom built optimizer & loss criterion

            l.sum().backward()

            updater(X.shape[0])

        metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())

    # Return training loss and training accuracy

    return metric[0] / metric[2], metric[1] / metric[2]

解法二：前期的解法

nn.CrossEntropyLoss() 函数中的 reduction 参数用于控制输出损失的形式。

当 reduction='none' 时，函数会输出一个形状为 (batch_size, num_classes) 的矩阵，表示每个样本的每个类别的损失。

当 reduction='sum' 时，函数会对矩阵求和，输出一个标量，表示所有样本的损失之和。

当 reduction='elementwise_mean' 时，函数会对矩阵求平均，输出一个标量，表示所有样本的平均损失。

使用 reduction='none' 时无法训练，是因为需要标量来表示整个训练集的损失，而不是一个矩阵。将参数去掉即可。

而使用 reduction='sum' 时，会报错“AssertionError: 761.4056615234375”，可能是因为在某个时刻，损失值变得非常大，导致网络无法继续训练。

只有在使用 reduction='elementwise_mean' 时，将矩阵求平均，使得损失值保持在一个可接受的范围内，网络才能继续训练。