1. Softmax 回归
李沐老师:
(y hat)用来代表模型计算出的预测值
- Oy:识别出正确类y的置信度(识别为正确的概率值)
- Oi:识别出其它i识别错了) 的置信度(识别为其它的概率值)
- Oy - Oi 要大于一个阈值,是为了让模型将真正正确的类和其它不一样的类拉开距离
李沐老师:回忆一下,我们的
只有一个是1,其余的都是0
智谱AI:
- 梯度:梯度告诉我们模型预测的概率偏离真实概率的程度和方向,也就是求导结果
- 参数更新的公式通常是:
参数 = 参数 - 学习率 * 梯度
2. 损失函数
以下是三个常见的损失函数:
2.1 均方损失 (L2 Loss)
李沐老师:
- 蓝色线:固定y,即y=0的时候,变化预测值y'
- 绿色线:它的似(然)函数(统计学里的重要概念,咱这门课不介绍),符合高斯分布
- 橙色线:损失函数的梯度,是一次函数
- 【横坐标表示的是预测值 𝑦′,而纵坐标表示的是损失值 𝑙(𝑦,𝑦′)】
- 问题:(看橙色的梯度线)预测值离真实值(原点)很远的时候,权重更新会太大,导致不稳定
2.2 绝对值损失 (L1 Loss)
李沐老师:
- 优点:看橙色的梯度线,梯度为±1,也就是说预测值无论离真实值有多远,每次权重更新的变化量都是恒定的,会比较稳定
- 缺点:在接近0,即接近真实值的时候,梯度会出现±,训练末期会不稳定
2.3 Huber's Robust Loss
- 融合L1和L2损失函数的优点,缩小了缺点