softmax回归

softmax回归

softmax回归是用来解决分类问题的。
softmax函数的公式为：
$$\begin{gathered} \widehat{y_1},\widehat{y_2},\widehat{y_3}=softmax(o_1,o_2,o_3). \\ \widehat{y_i}=\frac{e^{o_i}}{{\sum }_{i=1}^n{e}^{o_i}} \end{gathered}$$
则$\widehat{y_1}+\widehat{y_2}+\widehat{y_3}=1$且$0\le \widehat{y_1},\widehat{y_2},\widehat{y_3}\le 1$.
这样，可以更方便地与离散标签计算误差，预测的结果为$argmax(\widehat{y_1},\widehat{y_2},\widehat{y_3})$.

交叉熵损失函数

对于分类问题，一般可以将标签作onehot处理，将标签转换为向量。即真实标签可以用类别分布来表达：对于样本$i$，我们构造向量${\mathbf{y}}^{(i)}\in {\mathbb{R}}^q$，使其第$y^{(i)}$个元素为1，其余为0。这样训练目标可以可以设为使预测概率分布${\hat{\mathbf{y}}}^{(i)}$尽可能接近真实的标签概率分布${\mathbf{y}}^{(i)}$。
在这样的前提下，可以使用交叉熵衡量两个概率分布的差异程度。
交叉熵损失函数：
$$H\left({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}\right)=-\sum _{j=1}^q{y}_j^{(i)}\log {\hat{y}}_j^{(i)}$$
其中带下标的$y_j^{(i)}$是向量${\mathbf{y}}^{(i)}$中非0即1的元素，需要注意将它与样本i类别的离散数值，即不带下标的$y^{(i)}$区分。在上式中，我们知道向量${\mathbf{y}}^{(i)}$中只有第$y^{(i)}$个元素$y_{y^{(i)}}^{(i)}$为1，其余全为0，于是$H({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)})=-\log {\hat{y}}_{y^{(i)}}^{(i)}$。也就是说，交叉熵只关心对正确类别的预测概率，因为只要其值足够大，就可以确保分类结果正确。当然，遇到一个样本有多个标签时，例如图像里含有不止一个物体时，我们并不能做这一步简化。但即便对于这种情况，交叉熵同样只关心对图像中出现的物体类别的预测概率。
假设训练数据集的样本数为n，交叉熵损失函数定义为

$$\ell (\mathbf{\Theta })=\frac{1}{n}\sum _{i=1}^{n}H\left({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}\right)$$
其中$\mathbf{\Theta }$代表模型参数。同样地，如果每个样本只有一个标签，那么交叉熵损失可以简写成$\ell (\mathbf{\Theta })=-(\frac{1}{n}){\sum }_{i=1}^n\log {\hat{y}}_{y^{(i)}}^{(i)}$。从另一个角度来看，我们知道最小化$\ell (\mathbf{\Theta })$等价于最大化$e^{(-n\ell (\mathbf{\Theta }))}={\prod }_{i=1}^n{\hat{y}}_{y^{(i)}}^{(i)}$，即最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。