李沐深度学习-ch04

Softmax 回归

回归 VS 分类

1. 回归估计一个连续值
2. 分类预测一个离散类别

从回归到多类分类–均方损失

对于每一类i来说，Y中只有第i位为1，其余位均为0。

对于分类来说，并不关心其输出的值，更加关心的是最终输出识别的某个类别。

需要保证模型更置信的识别正确类，即满足：

Oy - Qi > Δ(y,i)

希望最终输出是一个匹配概率值。则我们构造一个操作算子softmax(O)

熵定义：
参考来源：王木头学科学的交叉熵

P、Q交叉熵定义：

（Dkl为散度。以P为基准，判断Q与P的匹配程度能够有多少。）
因为通过吉布斯不等式可以证明，散度一定是大于零的，即交叉熵一定是大于后面定值减数的。即当交叉熵越小时，散度越小，P、Q越匹配。

总结：

1. Softmax回归是一个多类分类模型
2. 使用Softmax操作子得到每个类的预测置信度
3. 使用交叉熵来衡量预测和标号的区别

损失函数

三种，其中绿色线代表最大似然估计，蓝色线代表损失值，黄色线代表梯度