softmax回归
🏷sec_softmax
参考动手学深度学习教材对应章节:https://zh-v2.d2l.ai/
根据课程相关章节的Jupyter文件进行运行得到结果并导出。
在 :numref:sec_linear_regression
中我们介绍了线性回归。
随后,在 :numref:sec_linear_scratch
中我们从头实现线性回归。
然后,在 :numref:sec_linear_concise
中我们使用深度学习框架的高级API简洁实现线性回归。
回归可以用于预测多少的问题。
比如预测房屋被售出价格,或者棒球队可能获得的胜场数,又或者患者住院的天数。
事实上,我们也对分类问题感兴趣:不是问“多少”,而是问“哪一个”:
- 某个电子邮件是否属于垃圾邮件文件夹?
- 某个用户可能注册或不注册订阅服务?
- 某个图像描绘的是驴、狗、猫、还是鸡?
- 某人接下来最有可能看哪部电影?
通常,机器学习实践者用分类这个词来描述两个有微妙差别的问题:
- 我们只对样本的“硬性”类别感兴趣,即属于哪个类别;
- 我们希望得到“软性”类别,即得到属于每个类别的概率。
这两者的界限往往很模糊。其中的一个原因是:即使我们只关心硬类别,我们仍然使用软类别的模型。
分类问题
🏷subsec_classification-problem
我们从一个图像分类问题开始。
假设每次输入是一个
2
×
2
2\times2
2×2的灰度图像。
我们可以用一个标量表示每个像素值,每个图像对应四个特征
x
1
,
x
2
,
x
3
,
x
4
x_1, x_2, x_3, x_4
x1,x2,x3,x4。
此外,假设每个图像属于类别“猫”,“鸡”和“狗”中的一个。
接下来,我们要选择如何表示标签。
我们有两个明显的选择:最直接的想法是选择
y
∈
{
1
,
2
,
3
}
y \in \{1, 2, 3\}
y∈{1,2,3},
其中整数分别代表
{
狗
,
猫
,
鸡
}
\{\text{狗}, \text{猫}, \text{鸡}\}
{狗,猫,鸡}。
这是在计算机上存储此类信息的有效方法。
如果类别间有一些自然顺序,
比如说我们试图预测
{
婴儿
,
儿童
,
青少年
,
青年人
,
中年人
,
老年人
}
\{\text{婴儿}, \text{儿童}, \text{青少年}, \text{青年人}, \text{中年人}, \text{老年人}\}
{婴儿,儿童,青少年,青年人,中年人,老年人},
那么将这个问题转变为回归问题,并且保留这种格式是有意义的。
但是一般的分类问题并不与类别之间的自然顺序有关。
幸运的是,统计学家很早以前就发明了一种表示分类数据的简单方法:独热编码(one-hot encoding)。
独热编码是一个向量,它的分量和类别一样多。
类别对应的分量设置为1,其他所有分量设置为0。
在我们的例子中,标签
y
y
y将是一个三维向量,
其中
(
1
,
0
,
0
)
(1, 0, 0)
(1,0,0)对应于“猫”、
(
0
,
1
,
0
)
(0, 1, 0)
(0,1,0)对应于“鸡”、
(
0
,
0
,
1
)
(0, 0, 1)
(0,0,1)对应于“狗”:
y ∈ { ( 1 , 0 , 0 ) , ( 0 , 1 , 0 ) , ( 0 , 0 , 1 ) } . y \in \{(1, 0, 0), (0, 1, 0), (0, 0, 1)\}. y∈{(1,0,0),(0,1,0),(0,0,1)}.
网络架构
为了估计所有可能类别的条件概率,我们需要一个有多个输出的模型,每个类别对应一个输出。
为了解决线性模型的分类问题,我们需要和输出一样多的仿射函数(affine function)。
每个输出对应于它自己的仿射函数。
在我们的例子中,由于我们有4个特征和3个可能的输出类别,
我们将需要12个标量来表示权重(带下标的
w
w
w),
3个标量来表示偏置(带下标的
b
b
b)。
下面我们为每个输入计算三个未规范化的预测(logit):
o
1
o_1
o1、
o
2
o_2
o2和
o
3
o_3
o3。
o 1 = x 1 w 11 + x 2 w 12 + x 3 w 13 + x 4 w 14 + b 1 , o 2 = x 1 w 21 + x 2 w 22 + x 3 w 23 + x 4 w 24 + b 2 , o 3 = x 1 w 31 + x 2 w 32 + x 3 w 33 + x 4 w 34 + b 3 . \begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{12} + x_3 w_{13} + x_4 w_{14} + b_1,\\ o_2 &= x_1 w_{21} + x_2 w_{22} + x_3 w_{23} + x_4 w_{24} + b_2,\\ o_3 &= x_1 w_{31} + x_2 w_{32} + x_3 w_{33} + x_4 w_{34} + b_3. \end{aligned} o1o2o3=x1w11+x2w12+x3w13+x4w14+b1,=x1w21+x2w22+x3w23+x4w24+b2,=x1w31+x2w32+x3w33+x4w34+b3.
我们可以用神经网络图 :numref:fig_softmaxreg
来描述这个计算过程。
与线性回归一样,softmax回归也是一个单层神经网络。
由于计算每个输出
o
1
o_1
o1、
o
2
o_2
o2和
o
3
o_3
o3取决于
所有输入
x
1
x_1
x1、
x
2
x_2
x2、
x
3
x_3
x3和
x
4
x_4
x4,
所以softmax回归的输出层也是全连接层。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xibMyV0A-1652167542545)(…/img/softmaxreg.svg)]
🏷fig_softmaxreg
为了更简洁地表达模型,我们仍然使用线性代数符号。
通过向量形式表达为
o
=
W
x
+
b
\mathbf{o} = \mathbf{W} \mathbf{x} + \mathbf{b}
o=Wx+b,
这是一种更适合数学和编写代码的形式。
由此,我们已经将所有权重放到一个
3
×
4
3 \times 4
3×4矩阵中。
对于给定数据样本的特征
x
\mathbf{x}
x,
我们的输出是由权重与输入特征进行矩阵-向量乘法再加上偏置
b
\mathbf{b}
b得到的。
全连接层的参数开销
🏷subsec_parameterization-cost-fc-layers
正如我们将在后续章节中看到的,在深度学习中,全连接层无处不在。
然而,顾名思义,全连接层是“完全”连接的,可能有很多可学习的参数。
具体来说,对于任何具有
d
d
d个输入和
q
q
q个输出的全连接层,
参数开销为
O
(
d
q
)
\mathcal{O}(dq)
O(dq),这个数字在实践中可能高得令人望而却步。
幸运的是,将
d
d
d个输入转换为
q
q
q个输出的成本可以减少到
O
(
d
q
n
)
\mathcal{O}(\frac{dq}{n})
O(ndq),
其中超参数
n
n
n可以由我们灵活指定,以在实际应用中平衡参数节约和模型有效性
:cite:Zhang.Tay.Zhang.ea.2021
。
softmax运算
🏷subsec_softmax_operation
现在我们将优化参数以最大化观测数据的概率。
为了得到预测结果,我们将设置一个阈值,如选择具有最大概率的标签。
我们希望模型的输出
y
^
j
\hat{y}_j
y^j可以视为属于类
j
j
j的概率,
然后选择具有最大输出值的类别
*
a
r
g
m
a
x
j
y
j
\operatorname*{argmax}_j y_j
*argmaxjyj作为我们的预测。
例如,如果
y
^
1
\hat{y}_1
y^1、
y
^
2
\hat{y}_2
y^2和
y
^
3
\hat{y}_3
y^3分别为0.1、0.8和0.1,
那么我们预测的类别是2,在我们的例子中代表“鸡”。
然而我们能否将未规范化的预测
o
o
o直接视作我们感兴趣的输出呢?
答案是否定的。
因为将线性层的输出直接视为概率时存在一些问题:
一方面,我们没有限制这些输出数字的总和为1。
另一方面,根据输入的不同,它们可以为负值。
这些违反了 :numref:sec_prob
中所说的概率基本公理。
要将输出视为概率,我们必须保证在任何数据上的输出都是非负的且总和为1。
此外,我们需要一个训练目标,来鼓励模型精准地估计概率。
在分类器输出0.5的所有样本中,我们希望这些样本有一半实际上属于预测的类。
这个属性叫做校准(calibration)。
社会科学家邓肯·卢斯于1959年在选择模型(choice model)的理论基础上
发明的softmax函数正是这样做的:
softmax函数将未规范化的预测变换为非负并且总和为1,同时要求模型保持可导。
我们首先对每个未规范化的预测求幂,这样可以确保输出非负。
为了确保最终输出的总和为1,我们再对每个求幂后的结果除以它们的总和。如下式:
y
^
=
s
o
f
t
m
a
x
(
o
)
其中
y
^
j
=
exp
(
o
j
)
∑
k
exp
(
o
k
)
\hat{\mathbf{y}} = \mathrm{softmax}(\mathbf{o})\quad \text{其中}\quad \hat{y}_j = \frac{\exp(o_j)}{\sum_k \exp(o_k)}
y^=softmax(o)其中y^j=∑kexp(ok)exp(oj)
:eqlabel:eq_softmax_y_and_o
这里,对于所有的
j
j
j总有
0
≤
y
^
j
≤
1
0 \leq \hat{y}_j \leq 1
0≤y^j≤1。
因此,
y
^
\hat{\mathbf{y}}
y^可以视为一个正确的概率分布。
softmax运算不会改变未规范化的预测
o
\mathbf{o}
o之间的顺序,只会确定分配给每个类别的概率。
因此,在预测过程中,我们仍然可以用下式来选择最有可能的类别。
* a r g m a x j y ^ j = * a r g m a x j o j . \operatorname*{argmax}_j \hat y_j = \operatorname*{argmax}_j o_j. *argmaxjy^j=*argmaxjoj.
尽管softmax是一个非线性函数,但softmax回归的输出仍然由输入特征的仿射变换决定。
因此,softmax回归是一个线性模型(linear model)。
小批量样本的矢量化
🏷subsec_softmax_vectorization
为了提高计算效率并且充分利用GPU,我们通常会针对小批量数据执行矢量计算。
假设我们读取了一个批量的样本
X
\mathbf{X}
X,
其中特征维度(输入数量)为
d
d
d,批量大小为
n
n
n。
此外,假设我们在输出中有
q
q
q个类别。
那么小批量特征为
X
∈
R
n
×
d
\mathbf{X} \in \mathbb{R}^{n \times d}
X∈Rn×d,
权重为
W
∈
R
d
×
q
\mathbf{W} \in \mathbb{R}^{d \times q}
W∈Rd×q,
偏置为
b
∈
R
1
×
q
\mathbf{b} \in \mathbb{R}^{1\times q}
b∈R1×q。
softmax回归的矢量计算表达式为:
O
=
X
W
+
b
,
Y
^
=
s
o
f
t
m
a
x
(
O
)
.
\begin{aligned} \mathbf{O} &= \mathbf{X} \mathbf{W} + \mathbf{b}, \\ \hat{\mathbf{Y}} & = \mathrm{softmax}(\mathbf{O}). \end{aligned}
OY^=XW+b,=softmax(O).
:eqlabel:eq_minibatch_softmax_reg
相对于一次处理一个样本,
小批量样本的矢量化加快了
X
和
W
\mathbf{X}和\mathbf{W}
X和W的矩阵-向量乘法。
由于
X
\mathbf{X}
X中的每一行代表一个数据样本,
那么softmax运算可以按行(rowwise)执行:
对于
O
\mathbf{O}
O的每一行,我们先对所有项进行幂运算,然后通过求和对它们进行标准化。
在 :eqref:eq_minibatch_softmax_reg
中,
X
W
+
b
\mathbf{X} \mathbf{W} + \mathbf{b}
XW+b的求和会使用广播,
小批量的未规范化预测
O
\mathbf{O}
O和输出概率
Y
^
\hat{\mathbf{Y}}
Y^
都是形状为
n
×
q
n \times q
n×q的矩阵。
损失函数
接下来,我们需要一个损失函数来度量预测的效果。
我们将使用最大似然估计,这与在线性回归
( :numref:subsec_normal_distribution_and_squared_loss
)
中的方法相同。
对数似然
softmax函数给出了一个向量
y
^
\hat{\mathbf{y}}
y^,
我们可以将其视为“对给定任意输入
x
\mathbf{x}
x的每个类的条件概率”。
例如,
y
^
1
\hat{y}_1
y^1=
P
(
y
=
猫
∣
x
)
P(y=\text{猫} \mid \mathbf{x})
P(y=猫∣x)。
假设整个数据集
{
X
,
Y
}
\{\mathbf{X}, \mathbf{Y}\}
{X,Y}具有
n
n
n个样本,
其中索引
i
i
i的样本由特征向量
x
(
i
)
\mathbf{x}^{(i)}
x(i)和独热标签向量
y
(
i
)
\mathbf{y}^{(i)}
y(i)组成。
我们可以将估计值与实际值进行比较:
P ( Y ∣ X ) = ∏ i = 1 n P ( y ( i ) ∣ x ( i ) ) . P(\mathbf{Y} \mid \mathbf{X}) = \prod_{i=1}^n P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}). P(Y∣X)=i=1∏nP(y(i)∣x(i)).
根据最大似然估计,我们最大化 P ( Y ∣ X ) P(\mathbf{Y} \mid \mathbf{X}) P(Y∣X),相当于最小化负对数似然:
− log P ( Y ∣ X ) = ∑ i = 1 n − log P ( y ( i ) ∣ x ( i ) ) = ∑ i = 1 n l ( y ( i ) , y ^ ( i ) ) , -\log P(\mathbf{Y} \mid \mathbf{X}) = \sum_{i=1}^n -\log P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}) = \sum_{i=1}^n l(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)}), −logP(Y∣X)=i=1∑n−logP(y(i)∣x(i))=i=1∑nl(y(i),y^(i)),
其中,对于任何标签 y \mathbf{y} y和模型预测 y ^ \hat{\mathbf{y}} y^,损失函数为:
l
(
y
,
y
^
)
=
−
∑
j
=
1
q
y
j
log
y
^
j
.
l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j.
l(y,y^)=−j=1∑qyjlogy^j.
:eqlabel:eq_l_cross_entropy
在本节稍后的内容会讲到, :eqref:eq_l_cross_entropy
中的损失函数
通常被称为交叉熵损失(cross-entropy loss)。
由于
y
\mathbf{y}
y是一个长度为
q
q
q的独热编码向量,
所以除了一个项以外的所有项
j
j
j都消失了。
由于所有
y
^
j
\hat{y}_j
y^j都是预测的概率,所以它们的对数永远不会大于
0
0
0。
因此,如果正确地预测实际标签,即如果实际标签
P
(
y
∣
x
)
=
1
P(\mathbf{y} \mid \mathbf{x})=1
P(y∣x)=1,
则损失函数不能进一步最小化。
注意,这往往是不可能的。
例如,数据集中可能存在标签噪声(比如某些样本可能被误标),
或输入特征没有足够的信息来完美地对每一个样本分类。
softmax及其导数
🏷subsec_softmax_and_derivatives
由于softmax和相关的损失函数很常见,
因此我们需要更好地理解它的计算方式。
将 :eqref:eq_softmax_y_and_o
代入损失 :eqref:eq_l_cross_entropy
中。
利用softmax的定义,我们得到:
l ( y , y ^ ) = − ∑ j = 1 q y j log exp ( o j ) ∑ k = 1 q exp ( o k ) = ∑ j = 1 q y j log ∑ k = 1 q exp ( o k ) − ∑ j = 1 q y j o j = log ∑ k = 1 q exp ( o k ) − ∑ j = 1 q y j o j . \begin{aligned} l(\mathbf{y}, \hat{\mathbf{y}}) &= - \sum_{j=1}^q y_j \log \frac{\exp(o_j)}{\sum_{k=1}^q \exp(o_k)} \\ &= \sum_{j=1}^q y_j \log \sum_{k=1}^q \exp(o_k) - \sum_{j=1}^q y_j o_j\\ &= \log \sum_{k=1}^q \exp(o_k) - \sum_{j=1}^q y_j o_j. \end{aligned} l(y,y^)=−j=1∑qyjlog∑k=1qexp(ok)exp(oj)=j=1∑qyjlogk=1∑qexp(ok)−j=1∑qyjoj=logk=1∑qexp(ok)−j=1∑qyjoj.
考虑相对于任何未规范化的预测 o j o_j oj的导数,我们得到:
∂ o j l ( y , y ^ ) = exp ( o j ) ∑ k = 1 q exp ( o k ) − y j = s o f t m a x ( o ) j − y j . \partial_{o_j} l(\mathbf{y}, \hat{\mathbf{y}}) = \frac{\exp(o_j)}{\sum_{k=1}^q \exp(o_k)} - y_j = \mathrm{softmax}(\mathbf{o})_j - y_j. ∂ojl(y,y^)=∑k=1qexp(ok)exp(oj)−yj=softmax(o)j−yj.
换句话说,导数是我们softmax模型分配的概率与实际发生的情况(由独热标签向量表示)之间的差异。
从这个意义上讲,这与我们在回归中看到的非常相似,
其中梯度是观测值
y
y
y和估计值
y
^
\hat{y}
y^之间的差异。
这不是巧合,在任何指数族分布模型中
(参见本书附录中关于数学分布的一节),
对数似然的梯度正是由此得出的。
这使梯度计算在实践中变得容易很多。
交叉熵损失
现在让我们考虑整个结果分布的情况,即观察到的不仅仅是一个结果。
对于标签
y
\mathbf{y}
y,我们可以使用与以前相同的表示形式。
唯一的区别是,我们现在用一个概率向量表示,如
(
0.1
,
0.2
,
0.7
)
(0.1, 0.2, 0.7)
(0.1,0.2,0.7),
而不是仅包含二元项的向量
(
0
,
0
,
1
)
(0, 0, 1)
(0,0,1)。
我们使用 :eqref:eq_l_cross_entropy
来定义损失
l
l
l,
它是所有标签分布的预期损失值。
此损失称为交叉熵损失(cross-entropy loss),它是分类问题最常用的损失之一。
本节我们将通过介绍信息论基础来理解交叉熵损失。
如果你想了解更多信息论的细节,你可以进一步参考
本书附录中关于信息论的一节。
信息论基础
🏷subsec_info_theory_basics
信息论(information theory)涉及编码、解码、发送以及尽可能简洁地处理信息或数据。
熵
信息论的核心思想是量化数据中的信息内容。
在信息论中,该数值被称为分布
P
P
P的熵(entropy)。可以通过以下方程得到:
H
[
P
]
=
∑
j
−
P
(
j
)
log
P
(
j
)
.
H[P] = \sum_j - P(j) \log P(j).
H[P]=j∑−P(j)logP(j).
:eqlabel:eq_softmax_reg_entropy
信息论的基本定理之一指出,为了对从分布
p
p
p中随机抽取的数据进行编码,
我们至少需要
H
[
P
]
H[P]
H[P]“纳特(nat)”对其进行编码。
“纳特”相当于比特(bit),但是对数底为
e
e
e而不是2。因此,一个纳特是
1
log
(
2
)
≈
1.44
\frac{1}{\log(2)} \approx 1.44
log(2)1≈1.44比特。
惊异
压缩与预测有什么关系呢?
想象一下,我们有一个要压缩的数据流。
如果我们很容易预测下一个数据,那么这个数据很容易压缩。
为什么呢?
举一个极端的例子,假如数据流中的每个数据完全相同,这会是一个非常无聊的数据流。
由于它们总是相同的,所以很容易被预测。
所以,为了传递数据流的内容,我们不必传输任何信息。
因此,当数据易于预测,也就易于压缩。
但是,如果我们不能完全预测每一个事件,那么我们有时可能会感到"惊异"。
克劳德·香农决定用
log
1
P
(
j
)
=
−
log
P
(
j
)
\log \frac{1}{P(j)} = -\log P(j)
logP(j)1=−logP(j)来量化惊异(surprisal)。
在观察一个事件
j
j
j,并赋予它(主观)概率
P
(
j
)
P(j)
P(j)。
当我们赋予一个事件较低的概率时,我们的惊异会更大。
在 :eqref:eq_softmax_reg_entropy
中定义的熵,
是当分配的概率真正匹配数据生成过程时的预期惊异(expected surprisal)。
重新审视交叉熵
如果把熵
H
(
P
)
H(P)
H(P)想象为“知道真实概率的人所经历的惊异程度”,那么什么是交叉熵?
交叉熵从
P
P
P到
Q
Q
Q,记为
H
(
P
,
Q
)
H(P, Q)
H(P,Q)。
你可以把交叉熵想象为“主观概率为
Q
Q
Q的观察者在看到根据概率
P
P
P生成的数据时的预期惊异”。
当
P
=
Q
P=Q
P=Q时,交叉熵达到最低。
在这种情况下,从
P
P
P到
Q
Q
Q的交叉熵是
H
(
P
,
P
)
=
H
(
P
)
H(P, P)= H(P)
H(P,P)=H(P)。
简而言之,我们可以从两方面来考虑交叉熵分类目标:
(i)最大化观测数据的似然;(ii)最小化传达标签所需的惊异。
模型预测和评估
在训练softmax回归模型后,给出任何样本特征,我们可以预测每个输出类别的概率。
通常我们使用预测概率最高的类别作为输出类别。
如果预测与实际类别(标签)一致,则预测是正确的。
在接下来的实验中,我们将使用精度(accuracy)来评估模型的性能。
精度等于正确预测数与预测总数之间的比率。
小结
- softmax运算获取一个向量并将其映射为概率。
- softmax回归适用于分类问题,它使用了softmax运算中输出类别的概率分布。
- 交叉熵是一个衡量两个概率分布之间差异的很好的度量,它测量给定模型编码数据所需的比特数。
练习
- 我们可以更深入地探讨指数族与softmax之间的联系。
- 计算softmax交叉熵损失 l ( y , y ^ ) l(\mathbf{y},\hat{\mathbf{y}}) l(y,y^)的二阶导数。
- 计算 s o f t m a x ( o ) \mathrm{softmax}(\mathbf{o}) softmax(o)给出的分布方差,并与上面计算的二阶导数匹配。
- 假设我们有三个类发生的概率相等,即概率向量是
(
1
3
,
1
3
,
1
3
)
(\frac{1}{3}, \frac{1}{3}, \frac{1}{3})
(31,31,31)。
- 如果我们尝试为它设计二进制代码,有什么问题?
- 你能设计一个更好的代码吗?提示:如果我们尝试编码两个独立的观察结果会发生什么?如果我们联合编码 n n n个观测值怎么办?
- softmax是对上面介绍的映射的误称(虽然深度学习领域中很多人都使用这个名字)。真正的softmax被定义为
R
e
a
l
S
o
f
t
M
a
x
(
a
,
b
)
=
log
(
exp
(
a
)
+
exp
(
b
)
)
\mathrm{RealSoftMax}(a, b) = \log (\exp(a) + \exp(b))
RealSoftMax(a,b)=log(exp(a)+exp(b))。
- 证明 R e a l S o f t M a x ( a , b ) > m a x ( a , b ) \mathrm{RealSoftMax}(a, b) > \mathrm{max}(a, b) RealSoftMax(a,b)>max(a,b)。
- 证明 λ − 1 R e a l S o f t M a x ( λ a , λ b ) > m a x ( a , b ) \lambda^{-1} \mathrm{RealSoftMax}(\lambda a, \lambda b) > \mathrm{max}(a, b) λ−1RealSoftMax(λa,λb)>max(a,b)成立,前提是 λ > 0 \lambda > 0 λ>0。
- 证明对于 λ → ∞ \lambda \to \infty λ→∞,有 λ − 1 R e a l S o f t M a x ( λ a , λ b ) → m a x ( a , b ) \lambda^{-1} \mathrm{RealSoftMax}(\lambda a, \lambda b) \to \mathrm{max}(a, b) λ−1RealSoftMax(λa,λb)→max(a,b)。
- soft-min会是什么样子?
- 将其扩展到两个以上的数字。