本文介绍以下几点:
- softmax从零实现
- softmax的简洁实现
softmax从零实现
导入包
# import needed package
%matplotlib inline
from IPython import display
import matplotlib.pyplot as plt
import torch
import torchvision
import torchvision.transforms as transforms
import time
import sys
sys.path.append("/home/kesci/input")
import d2lzh1981 as d2l
print(torch.__version__)
print(torchvision.__version__)
基本概念
对于分类问题,真实标签通常是离散值,我们通过模型和权重输出的值称之为置信度,置信度和特征值有关,且同一条数据对于不同类别的预测输出可能差距会很大,导致我们难以直观判断这些值的意义,且真实标签与其不确定范围的输出(置信度)之间的误差确难以衡量。
softmax运算符(softmax operator)解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布:
y ^ j = exp ( o j ) ∑ i = 1 3 exp ( o i ) \hat{y}_j = \frac{ \exp(o_j)}{\sum_{i=1}^3 \exp(o_i)} y^j=∑i=13exp(oi)exp(oj)
代码如下
def softmax(X):
"""
softmax 公式
X 特征值
"""
X_exp = X.exp()
partition = X_exp.sum(dim=1, keepdim=True)
return X_exp / partition # 这里应用了广播机制
print(softmax(torch.tensor([[10.0, 10.1, 10.2]])))
输出的值的和是为1
tensor([[0.3006, 0.3322, 0.3672]])
交叉熵损失函数
想要预测分类结果正确,我们其实并不需要预测概率完全等于标签概率。例如,在图像分类的例子里,如果 y ( i ) = 3 y^{(i)}=3 y(i)=3,那么我们只需要 y ^ 3 ( i ) \hat{y}^{(i)}_3 y^3(i)比其他两个预测值 y ^ 1 ( i ) \hat{y}^{(i)}_1 y^1(i)和 y ^ 2 ( i ) \hat{y}^{(i)}_2