使用Pytorch实现softmax回归

前面我们讲解了机器学习基本问题之一的线性回归问题，接下来我们来讨论另一类重要问题-分类。本项目环境基于pytorch以及深度学习包d2l。

softmax回归

基本概述

对于一个回归问题，首先我们应该知道我们的target。即一共有哪些类别。对于深度学习来说， 我们通常将目标值转化为一个one-hot编码，而非字符串。在前面我们学习了依靠概率的bayes回归算法，依靠信息熵的决策树。在深度学习中得益于神经网络的强大，我们也可以使用神经网络来解决分类问题。但是我们就需要解决三个问题：
1.我们的输入是什么？
2.我们的输出是什么？
3.神经网络有几层？

以图片分类问题为例：我们的输入是由标量组成的特征向量。 经过一系列函数的处理，我们得到了多个关于类别的标量的输出。 对于这些输出的处理讨论就将涉及到我们的softmax回归。

现在我们将优化参数以最大化观测数据的概率。 为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。

我们希望模型的输出
可以视为属于类的概率， 然后选择具有最大输出值的类别作为我们的预测。

然而我们能否将未规范化的预测直接视作我们感兴趣的输出呢？ 答案是否定的。 因为将线性层的输出直接视为概率时存在一些问题： 一方面，我们没有限制这些输出数字的总和为1。 另一方面，根据输入的不同，它们可以为负值。 这些违反了概率基本公理。

要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。 此外，我们需要一个训练的目标函数，来激励模型精准地估计概率。 （也就是说，这个激励函数能够让模型的输出具有具体的意义。）例如， 在分类器输出0.5的所有样本中，我们希望这些样本是刚好有一半实际上属于预测的类别。 这个属性叫做校准（calibration）。

接下来我们就来实现一个简单的softmax回归。

代码实现

加载数据

from torch import nn
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

初始化模型参数

和之前线性回归的例子一样，这里的每个样本都将用固定长度的向量表示。 原始数据集中的每个样本都是28乘28的图像。 本节将展平每个图像，把它们看作长度为784的向量。 在后面的章节中，我们将讨论能够利用图像空间结构的特征， 但现在我们暂时只把每个像素位置看作一个特征。

回想一下，在softmax回归中，我们的输出与类别一样多。 因为我们的数据集有10个类别，所以网络输出维度为10。 因此，权重将构成一个的784×10矩阵， 偏置将构成一个1×10的行向量。 与线性回归一样，我们将使用正态分布初始化我们的权重W，偏置初始化为0

# PyTorch不会隐式地调整输入的形状。

# 因此，我们在线性层前定义了展平层（flatten），来调整网络输入的形状

def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight,std=0.01)  #初始化参数以均值为0，方差为0.01
net.apply(init_weights)#对于整个神经网络的每一层使用都应用这个函数。

定义损失函数

分类问题的损失函数我们通常使用交叉熵来实现，这更常见。
简而言之，我们可以从两方面来考虑交叉熵分类目标： （i）最大化观测数据的似然；（ii）最小化传达标签所需的惊异。

loss = nn.CrossEntropyLoss()

定义优化算法

trainer = torch.optim.SGD(net.parameters(),lr=0.1)

进行训练

num_epochs = 10
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

预测

def predict_ch3(net, test_iter, n=6):  #@save
    """预测标签（定义见第3章）"""
    for X, y in test_iter:
        break
    trues = d2l.get_fashion_mnist_labels(y)
    preds = d2l.get_fashion_mnist_labels(net(X).argmax(axis=1))
    titles = [true +'\n' + pred for true, pred in zip(trues, preds)]
    d2l.show_images(
        X[0:n].reshape((n, 28, 28)), 1, n, titles=titles[0:n])

predict_ch3(net, test_iter)