softmax回归推导及python实例分析

softmax函数

softmax函数也称为归一化指数函数，将每个元素的范围控制在(0,1)之间，并且所有元素的和为1。

函数公式为：
$$\sigma (z_j)=\frac{e^{z_j}}{{\sum }_{k=1}^K{e}^{z_k}},j=1,...,K$$
计算步骤为：

1. 每个元素的值为$z_j$，计算$e^{z_j}$值
2. 将所有元素的$e^{z_j}$累加
3. 用每个元素的$e^{z_j}$值除以累加值，即为该元素的softmax值

用python代码实现为：

import math
z = [1.0,2.0,3.0,4.0,1.0,2.0,3.0]
z_exp = [math.exp(i) for i in z]
sum_z_exp = sum(z_exp)
softmax = [i/sum_z_exp for i in z_exp]
print(softmax)
# softmax=[0.02, 0.06, 0.17, 0.47, 0.02, 0.06, 0.17]

元素和softmax值对应关系为：

原值	softmax
1.0	0.02
2.0	0.06
3.0	0.17
4.0	0.47

可以看到最大元素4.0的softmax值远大于其他值，因为exp指数计算放大了值的影响。

交叉熵损失

在二分类的情况下，每个类别的预测概率为p和1-p，表达式为：
$$L=-[y\cdot log(p)+(1-y)\cdot log(1-p)]$$

• y表示样本label，正例为1，负例为0
• p表示样本预测为正例的概率

多分类就是对二分类的扩展，表达式为：
$$L=-\sum _{j=1}^k{y}_{j}log(p_j)$$

• K表示类别的数量
• $y_j$值为0或1，若y属于第j类则值为1，否则为0
• $p_j$表示样本属于类别j的概率

代入softmax的损失函数为：
$$J(\theta )=-\frac{1}{m}[i=1$$