【深度学习笔记】5 softmax回归

Softmax 回归数学表达

我们考虑单个样本 $x^{(i)}=(x_1^{(1)},x_2^{(1)},x_3^{(1)},x_4^{(1)})$,我们有
$$o_j^{(i)}=x_1^{(i)}\ast w_{1,j}+x_2^{(i)}\ast w_{2,j}+x_3^{(i)}\ast w_{3,j}^{(i)}+x_4^{(i)}\ast w_{4,j}^{(i)}+b_j,j=1,2,3$$即
$$\begin{array}{rl}\left[\begin{array}{ccc}{o}_1^{(i)}& o_2^{(i)}& o_3^{(i)}\end{array}\right]& =\left[\begin{array}{ccc}{x}_1^{(i)}\ast w_{1,1}+x_2^{(i)}\ast w_{2,1}+x_3^{(i)}\ast w_{3,1}+x_4^{(i)}\ast w_{4,1}+b_1& x_1^{(i)}\ast w_{1,2}+x_2^{(i)}\ast w_{2,2}+x_3^{(i)}\ast w_{3,2}+x_4^{(i)}\ast w_{4,2}+b_2& x_1^{(i)}\ast w_{1,3}+x_2^{(i)}\ast w_{2,3}+x_3^{(i)}\ast w_{3,3}+x_4^{(i)}\ast w_{4,3}+b_3\end{array}\right]\\ & =\left[\begin{array}{cccc}{x}_1^{(i)}& x_2^{(i)}& x_3^{(i)}& x_4^{(i)}\end{array}\right]\left[\begin{array}{ccc}{w}_{1,1}& w_{1,2}& w_{1,3}\\ w_{2,1}& w_{2,2}& w_{2,3}\\ w_{3,1}& w_{3,2}& w_{3,3}\\ w_{4,1}& w_{4,2}& w_{4,3}\end{array}\right]+\left[\begin{array}{ccc}{b}_1& b_2& b_3\end{array}\right]\end{array}$$ 若有n个样本则
$$\left[\begin{array}{ccc}{o}_1^{(1)}& o_2^{(1)}& o_3^{(1)}\\ o_1^{(2)}& o_2^{(2)}& o_3^{(2)}\\ ⋮& ⋮& ⋮\\ o_1^{(n)}& o_2^{(n}& o_3^{(n)}\end{array}\right]=\left[\begin{array}{cccc}{x}_1^{(1)}& x_2^{(1}& x_3^{(1)}& x_4^{(1)}\\ x_1^{(2)}& x_2^{(2)}& x_3^{(2)}& x_4^{(2)}\\ ⋮& ⋮& ⋮& ⋮\\ x_1^{(n)}& x_2^{(n)}& x_3^{(n)}& x_4^{(n)}\end{array}\right]\left[\begin{array}{ccc}{w}_{1,1}& w_{1,2}& w_{1,3}\\ w_{2,1}& w_{2,2}& w_{2,3}\\ w_{3,1}& w_{3,2}& w_{3,3}\\ w_{4,1}& w_{4,2}& w_{4,3}\end{array}\right]+\left[\begin{array}{ccc}{b}_1& b_2& b_3\\ b_1& b_2& b_3\\ ⋮& ⋮& ⋮\\ b_1& b_2& b_3\end{array}\right]$$

$$O=XW+B$$

其中$O\in R^{n\times 3}，X\in R^{n\times 4}，W\in R^{4\times 3}，b\in R^3(broadcast)$
$O\in R^{n\times q}，X\in R^{n\times p}，W\in R^{p\times q}，b\in R^3(broadcast)$

Softmax

$${\hat{y}}_1^{(i)},{\hat{y}}_2^{(i)},{\hat{y}}_3^{(i)}=softmax(o_1^{(i)},o_2^{(i)},o_3^{(i)})$$ 其中
$$\begin{array}{cccc}{\hat{y}}_1^{(i)}=\frac{exp(o_1^{(i)})}{{\sum }_{j=1}^{3}exp(o_j^{(i)})}& {\hat{y}}_2^{(i)}=\frac{exp(o_1^{(i)})}{{\sum }_{j=1}^{3}exp(o_j^{(i)})}& {\hat{y}}_3^{(i)}=\frac{exp(o_1^{(i)})}{{\sum }_{j=1}^{3}exp(o_j^{(i)})}& \end{array}$$

$${\hat{y}}_1^{(i)}+{\hat{y}}_2^{(i)}+{\hat{y}}_3^{(i)}=1and{\hat{y}}_1^{(i)}，{\hat{y}}_1^{(i)}，{\hat{y}}_1^{(i)}\in [0,1]$$
满足概率的条件，概率大的为预测出的的类别。
$$O=XW+B,\hat{Y}=softmax(O)$$其中：
$$O\in R^{n\times q}，X\in R^{n\times p}，W\in R^{p\times q}，b\in R^q(broadcast)$$
n 是batch 数，p 是特征数，q是类别数，${\hat{Y}}^{(i)}$中第j列表示属于第j个类别的概率

交叉熵损失函数

one-hot 编码

对于第 $i$ 个样本
$$(x_1^{(1)},x_2^{(1)},x_3^{(1)},\dots ,x_q^{(1)},y^{(i)})$$
（实际中注意下角标从0开始）假设 $y^{(i)}=3$,那么我们可以构建一个长度为q(类别数)的向量 ${\vec{y}}^{(i)}$，将其中第3个分量（第$y^{(i)}$个分量）设为1，其他分量设为 0

交叉熵

交叉熵（cross entropy）如下:
$$H({\vec{y}}^{(i)},{\hat{y}}^{(i)})=-\sum _{j=1}^n{y}_j^{(i)}log{\hat{y}}_j^{(i)}=-log{\hat{y}}_{y^{(i)}}^{(i)}$$

交叉熵表示什么？首先看KL散度（这个是非负数）
$$\begin{array}{rl}{D}_{KL}(P(x),Q(x))& =\sum _{j}P(x_j)log\frac{P(x_j)}{Q(x_j)}\\ & =\sum _{j}P(x_j)logP(x_j)-\sum _{j}P(x)logQ(x_j)\\ & =-\underset{\text{熵}}{\underbrace{H(P(x))}}+\boxed{-\sum _{j}P(x)logQ(x_j)}\end{array}$$

KL散度描述两个分布的相似程度，越小表示越接近，P(x) 一般表示我们数据集里样本的分布，他的熵是固定的，而Q(x)是我们模型产生的预测分布，我们自然希望与P(x)越接近越好。

n个样本的损失函数为：
$$l(\Theta )=\frac{1}{n}\sum _{j=1}^{n}H({\vec{y}}^{(i)},{\hat{y}}^{(i)})$$
如果每个样本只有一个标签：
$$l(\Theta )=-\frac{1}{n}\sum _{i=1}^{n}log{\hat{y}}_{y^{(i)}}^{(i)}$$
从另一个角度看，我们知道最小化 $l(\Theta )$ 等价于最大化

$$exp(-nl(\Theta ))={\prod }_{i=1}^{n}log{\hat{y}}_{y^{(i)}}^{(i)}$$
即最小化交叉熵损失函数等于最大化训练数据集所有标签类别的联合预测概率。