《动手学深度学习》笔记5——Softmax 回归→损失函数→图片分类数据集

1. Softmax 回归

李沐老师：

• （y hat）用来代表模型计算出的预测值
• Oy：识别出正确类y的置信度（识别为正确的概率值）
• Oi：识别出其它i识别错了) 的置信度（识别为其它的概率值）
• Oy - Oi 要大于一个阈值，是为了让模型将真正正确的类和其它不一样的类拉开距离

李沐老师：回忆一下，我们的只有一个是1，其余的都是0

智谱AI：

• 梯度：梯度告诉我们模型预测的概率偏离真实概率的程度和方向，也就是求导结果
• 参数更新的公式通常是：参数 = 参数 - 学习率 * 梯度

2. 损失函数

以下是三个常见的损失函数：

2.1 均方损失 (L2 Loss)

李沐老师：

• 蓝色线：固定y，即y=0的时候，变化预测值y'
• 绿色线：它的似(然)函数（统计学里的重要概念，咱这门课不介绍），符合高斯分布
• 橙色线：损失函数的梯度，是一次函数
• 【横坐标表示的是预测值 𝑦′，而纵坐标表示的是损失值 𝑙(𝑦,𝑦′)】
• 问题：（看橙色的梯度线）预测值离真实值(原点)很远的时候，权重更新会太大，导致不稳定

2.2 绝对值损失 (L1 Loss)

李沐老师：

• 优点：看橙色的梯度线，梯度为±1，也就是说预测值无论离真实值有多远，每次权重更新的变化量都是恒定的，会比较稳定
• 缺点：在接近0，即接近真实值的时候，梯度会出现±，训练末期会不稳定

2.3 Huber's Robust Loss

• 融合L1和L2损失函数的优点，缩小了缺点

3. 图像分类数据集

4. 从零实现

5. 简洁实现