深度学习——softmax回归

一、softmax回归从零开始实现

1. 获取和读取数据集

       本次实验数据集我们选择Fashion-MNIST数据集，使用d2l包可以之直接获取，同时设置读取数据集时的小批量大小为256

2. 定义softmax操作

       Softmax操作包括以下三个步骤：

       1. 对每个项求幂（使用exp()函数）

       2. 对1的结果的每一行进行求和，得到每一行（样本）的规范化常数）

       3. 将1的结果的每一行除以该行的规范化参数，使得每一行的和为1

def softmax(X):
    X_exp = torch.exp(X)
    partition = X_exp.sum(1, keepdim=True)
    print(X_exp, partition)
    return X_exp / partition  # 这里应用了广播机制

       对每一行求和时注意要保留矩阵的维度以便后续的运算，在X_exp/partition时，partition形状与X_exp不同，会触发广播机制，使其形状复制扩展为与X_exp相同。

3. 初始化模型参数

       在softmax回归中我们使用的数据集中的样本为28x28的图像，为了简化问题，我们将其降维看作长度为784的向量，每个像素位置视为一个特征，即每个样本拥有784个特征。在softmax回归中，输出与类别一样多，我们使用的数据集类别有10个，样本特征有784个，因此将权重设为784 X 10的矩阵，偏差值也需要有10个。权重和偏差的初始化我们设置为与线性回归的初始值相同。

num_inputs = 784
num_outputs = 10

W = torch.normal(0, 0.01, size=(num_inputs, num_outputs), requires_grad=True)
b = torch.zeros(num_outputs, requires_grad=True)

4. 定义模型

       使用同线性回归相同的操作，将特征乘上权重加再加上偏差即可得到预测值，X和w相乘时需要先将二维降至一维。

def net(X):
    return softmax(torch.matmul(X.reshape((-1, W.shape[0])), W) + b)

5. 定义损失函数

       使用交叉熵损失函数

def cross_entropy(y_hat, y):

    return - torch.log(y_hat[range(len(y_hat)), y])

6. 分类精度

       要计算分类的精度，我们首先需要计算正确预测的个数。要计算正确预测的个数，我们需要将y_hat中的数据与y进行比较，相同的即为正确预测，计为1，否则为错误预测，计为0.

       计算出正常预测的个数后将个数除以总预测数即可得到分类的精度。

7. 训练

       首先将模型设置为训练模式

然后开始训练损失值、正确预测数量：

       从数据集中抽取一个小批量

       计算预测值和损失值以及损失函数梯度值

       保存训练损失值、预测正确数量和总数量

       使用优化器根据梯度值更新模型参数

返回训练损失值和训练分类精度（预测正确数量/总数量）

def train_epoch_ch3(net, train_iter, loss, updater):  #@save

    """ 训练模型一个迭代周期（定义见第3章）。"""

    # 将模型设置为训练模式

    if isinstance(net, torch.nn.Module):

        net.train()

    # 训练损失总和、训练准确度总和、样本数

    metric = Accumulator(3) #创建3个变量

    for X, y in train_iter:

        # 计算梯度并更新参数

        y_hat = net(X)

        l = loss(y_hat, y)

        if isinstance(updater, torch.optim.Optimizer):

            # 使用PyTorch内置的优化器和损失函数

            updater.zero_grad()

            l.backward()

            updater.step()

            metric.add(float(l) * len(y), accuracy(y_hat, y),   # 3个变量分别保存训练损失值、预测正确数量和总数量

                       y.size().numel())

        else:

            # 使用定制的优化器和损失函数

            l.sum().backward()

            updater(X.shape[0])

            metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())

    # 返回训练损失和训练精度

    return metric[0] / metric[2], metric[1] / metric[2]

接着选择0.1的学习率进行训练10个周期

8. 预测

       训练完后，我们便可开始预测，并比较预测标签与实际标签

      

       可以看到，在这几个例子中的预测结果均正确。

二、softmax的简洁实现

1. 初始化模型参数

       实例化一个Sequential类，添加一个带有10个输出的全连接层。初始化权重值为标准差为0.01的标准正态随机值。

net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)
net.apply(init_weights)

2. 定义损失函数

       使用交叉熵损失函数

loss = nn.CrossEntropyLoss()

3. 优化算法

       同样使用SGD()函数进行优化，学习率设置为0.1

trainer = torch.optim.SGD(net.parameters(), lr=0.1)

4. 训练

       调用d2l包中的train_ch3函数来训练模型，训练周期为10

num_epochs = 10

d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

训练结果