《动手学深度学习》学习pytorch之softmax实现、FashionMNIST数据集训练

本文介绍以下几点：

• softmax从零实现
• softmax的简洁实现

softmax从零实现

导入包

# import needed package
%matplotlib inline
from IPython import display
import matplotlib.pyplot as plt

import torch
import torchvision
import torchvision.transforms as transforms
import time

import sys
sys.path.append("/home/kesci/input")
import d2lzh1981 as d2l

print(torch.__version__)
print(torchvision.__version__)

基本概念

对于分类问题，真实标签通常是离散值，我们通过模型和权重输出的值称之为置信度，置信度和特征值有关，且同一条数据对于不同类别的预测输出可能差距会很大，导致我们难以直观判断这些值的意义，且真实标签与其不确定范围的输出（置信度）之间的误差确难以衡量。
softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：

$${\hat{y}}_j=\frac{\exp (o_j)}{{\sum }_{i=1}^3\exp (o_i)}$$

代码如下

def softmax(X):
    """
    softmax 公式
    X 特征值
    """
    X_exp = X.exp()
    partition = X_exp.sum(dim=1, keepdim=True)
    return X_exp / partition  # 这里应用了广播机制
   
print(softmax(torch.tensor([[10.0, 10.1, 10.2]])))

输出的值的和是为1

tensor([[0.3006, 0.3322, 0.3672]])

交叉熵损失函数

想要预测分类结果正确，我们其实并不需要预测概率完全等于标签概率。例如，在图像分类的例子里，如果$y^{(i)}=3$，那么我们只需要${\hat{y}}_3^{(i)}$比其他两个预测值${\hat{y}}_1^{(i)}$和 y ^ 2 ( i ) \hat{y}^{(i)}_2