Softmax回归及损失函数（李沐深度学习课程、自用）

1 Softmax回归

回归预测连续值，分类预测离散值

分类多个输出，第i个输出代表第i类的置信度。

1.1 置信度转换

在分类中，希望能尽可能地使正确类别的置信度远大于其它类别。同时我们可以将输出置信度转换到一个区间内（置信度的相对大小有意义，绝对大小无意义）。因此考虑将置信度转换为概率，满足两条件，非负以及小于等于1。

转换的方法使用

2. 损失函数选取

交叉熵

2 常用三种损失函数

2.1 均方损失（L2 LOSS）

求导时，平方项和1/2抵消。

离最优解越远，梯度越大，可能会导致不稳定。

2.2 绝对值损失函数（L1 LOSS）

在离最优解较远时，梯度并不会很大，优化过程较稳定。但是在优化末期可能不稳定。

2.3 鲁棒误差函数（Huber‘s Robust LOSS）

结合了前两者损失各自的优点。在优化早期梯度值不变，优化末期梯度逐渐减小。