回归 vs 分类
- 回归估计是一个连续值
- 分类是预测一个离散类别
从回归到多类分类
-
回归
- 单连续数值输出
- 自然区间R
- 跟真实值的区别作为损失
-
分类
- 多个输出
- 输出i是预测为第i类的置信度
校验比例:Softmax
- 输出匹配概率(非负,和为1)
- y ^ = s o f t m a x ( o ) \hat y = softmax(o) y^=softmax(o)
- y ^ i = e x p ( o i ) ∑ k e x p ( o k ) \large \hat y_i = \frac{exp(o_i)}{\sum_k exp(o_k)} y^i=∑kexp(ok)exp(oi)
- 真实概率 y 和预测概率 y ^ \hat y y^的区别作为损失
- softmax和交叉熵损失
- 交叉熵常用来衡量两个概率的区别 H ( p , q ) = ∑ i − p i l o g ( q i ) H(p,q) = \sum_i - p_i\ log(q_i) H(p,q)=∑i−pi log(qi)
- 将它作为损失 : l ( y , y ^ ) = − ∑ i y i l o g y ^ i = − l o g y ^ y \large l(y,\hat y) = -\sum_i\ y_i\ log\hat y_i = -log\ \hat y_y l(y,y^)=−∑i yi logy^i=−log y^y
- 其梯度是真实概率和预测概率的区别-
- ∂ O i l ( y , y ^ ) = s o f t m a x ( o ) i − y \large ∂_{O_i}l(y,\hat y) = softmax(o)_i - y ∂Oil(y,y^)=softmax(o)i−y
总结
- softmax回归是一个多类分类模型
- 使用softmax操作子得到每个类的预测置信度
- 使用交叉熵来衡量预测和标号的区别
代码实现
导入数据集,设置批量大小
-
使用Fashion-MNIST数据集,并保持批量大小为256
-
import torch from torch import nn from d2l import torch as d2l batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
初始化模型参数
-
softmax回归的输出层是一个全连接层。 只需在
Sequential
中添加一个带有10个输出的全连接层。 -
同样,在这里
Sequential
并不是必要的, 但它是实现深度模型的基础。 -
以均值0和标准差0.01随机初始化权重
-
# PyTorch不会隐式地调整输入的形状。因此, # 我们在线性层前定义了展平层(flatten),来调整网络输入的形状 # nn.flatten将任何维度的tensor变成2d的tensor(0维保留,剩下的维度展成向量) net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10)) def init_weights(m): if type(m) == nn.Linear: nn.init.normal_(m.weight, std=0.01) # 均值为0 方差为0.01 net.apply(init_weights);
**审视softmax :关于上下溢出的问题
-
softmax函数 y ^ j = s o f t m a x ( o ) j = e x p ( o j ) ∑ k e x p ( o k ) \large \hat y_j=softmax(o)_{j} = \frac{exp(o_{j})}{\sum_kexp(o_{k})} y^j=softmax(o)j=∑kexp(ok)exp(oj), 其中 y ^ j \hat y_j y^j是预测的概率分布。 o j o_j oj是未规范化的预测 o 的第 j 个元素。
-
如果 o k o_k ok 中的一些数值非常大, 那么 e x p ( o k ) exp(o_k) exp(ok)可能大于数据类型容许的最大数字,即上溢(overflow)。 这将使分母或分子变为
inf
(无穷大), 最后得到的是0、inf
或nan
(不是数字)的 y ^ j \hat y_j y^j。 在这些情况下,我们无法得到一个明确定义的交叉熵值。- 解决这个问题的一个技巧是: 在继续softmax计算之前,先从所有 o k o_k ok 中减去 m a x ( o k ) max(o_k) max(ok)。 你可以看到每个 o k o_k ok按常数进行的移动不会改变softmax的返回值:
- y ^ j = e x p ( o j − m a x ( o k ) ) e x p ( m a x ( o k ) ) ∑ k e x p ( o k − m a x ( o k ) ) e x p ( m a x ( o k ) ) = e x p ( o j − m a x ( o k ) ) ∑ k e x p ( o k − m a x ( o k ) ) \large \hat y_j = \frac{exp(o_{j} - max(o_k))exp(max(o_k))}{\sum_k exp(o_{k}- max(o_k)) exp( max(o_k))} = \frac{exp(o_{j} - max(o_k))}{\sum_k exp(o_{k}- max(o_k))} y^j=∑kexp(ok−max(ok))exp(max(ok))exp(oj−max(ok))exp(max(ok))=∑kexp(ok−max(ok))exp(oj−max(ok))
-
在减法和规范化步骤之后,可能有些 o j − m a x ( o k ) o_{j} - max(o_k) oj−max(ok)具有较大的负值。 由于精度受限, o j − m a x ( o k ) o_{j} - max(o_k) oj−max(ok)将有接近零的值,即下溢(underflow)。
-
这些值可能会四舍五入为零,使 y ^ j \hat y_j y^j为零, 并且使得 l o g ( y ^ j ) log(\hat y_j) log(y^j)的值为
-inf
。 -
反向传播几步后,我们可能会发现出现很多的
nan
结果。 -
尽管我们要计算指数函数,但我们最终在计算交叉熵损失时会取它们的对数。 通过将softmax和交叉熵结合在一起,可以避免反向传播过程中可能会困扰我们的数值稳定性问题。
-
如下面的等式所示,我们避免计算 e x p ( o j − m a x ( o k ) ) exp(o_{j} - max(o_k)) exp(oj−max(ok)), 而可以直接使用 o j − m a x ( o k ) o_{j} - max(o_k) oj−max(ok),因为log(exp(⋅))被抵消了。
-
l o g ( y ^ j ) = l o g ( e x p ( o j − m a x ( o k ) ) ∑ k e x p ( o k − m a x ( o k ) ) ) \large log(\hat y_j) = log(\frac{exp(o_{j} - max(o_k))}{\sum_k exp(o_{k}- max(o_k)) }) log(y^j)=log(∑kexp(ok−max(ok))exp(oj−max(ok)))
= l o g ( e x p ( o j − m a x ( o k ) ) ) − l o g ( ∑ k e x p ( o k − m a x ( o k ) ) ) \large= log(exp(o_{j} - max(o_k)))-log(\sum_k exp(o_{k}- max(o_k))) =log(exp(oj−max(ok)))−log(∑kexp(ok−max(ok)))
= o j − m a x ( o k ) − l o g ( ∑ k e x p ( o k − m a x ( o k ) ) ) \large= o_{j} - max(o_k)-log(\sum_k exp(o_{k}- max(o_k))) =oj−max(ok)−log(∑kexp(ok−max(ok)))
-
定义交叉熵损失函数
-
在交叉熵损失函数中传递未规范化的预测,并同时计算softmax及其对数
loss = nn.CrossEntropyLoss(reduction='none')
优化算法
-
学习率为0.1的小批量随机梯度下降
-
trainer = torch.optim.SGD(net.parameters(), lr=0.1)
训练
# 调用之前定义的训练函数来训练模型。
num_epochs = 10
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)