Softmax 回归
回归 VS 分类
- 回归估计一个连续值
- 分类预测一个离散类别
从回归到多类分类–均方损失
对于每一类i来说,Y中只有第i位为1,其余位均为0。
对于分类来说,并不关心其输出的值,更加关心的是最终输出识别的某个类别。
需要保证模型更置信的识别正确类,即满足:
Oy - Qi > Δ(y,i)
希望最终输出是一个匹配概率值。则我们构造一个操作算子softmax(O)
熵定义:
参考来源:王木头学科学的交叉熵
P、Q交叉熵定义:
(Dkl为散度。以P为基准,判断Q与P的匹配程度能够有多少。)
因为通过吉布斯不等式可以证明,散度一定是大于零的,即交叉熵一定是大于后面定值减数的。即当交叉熵越小时,散度越小,P、Q越匹配。
总结:
- Softmax回归是一个多类分类模型
- 使用Softmax操作子得到每个类的预测置信度
- 使用交叉熵来衡量预测和标号的区别
损失函数
三种,其中绿色线代表最大似然估计,蓝色线代表损失值,黄色线代表梯度