【自用学习笔记】cs231n_L3损失函数与优化

cs231n——损失函数与优化

损失函数

• 多类别SVM损失函数
  • 铰链损失（单个数据点$i$的损失函数$L_i$或数据损失）
    • 
      • 使用例子
        • 
      • $s_j$是模型预测的第$j$类的得分，$s_{y_i}$是模型预测的真实类别$y_i$的得分（即$j$为其他类，$y_i$为想要预测的类）其中得分由$f(x_i,W)$计算
  • 标准损失函数
    • 
      • $\lambda R(W)$为正则化项，用于防止模型过拟合
  • 正则化
    • L1正则化
      • $\lambda \sum |w|$
    • L2正则化
      • $\lambda \sum w^2$
• Softmax损失函数
  • 

最优化

• 随机搜索
  • 每次都进行随机取$w$
• 随机本地搜索
  • 在原有的$w$上进行改动，若改动后的$w$能使损失值更低则采用
• 梯度下降
  • 概念
    • 梯度方向移动指向函数值增加的最快方向，而沿着梯度的负方向移动则指向函数值减小的最快方向
  • 目的
    • 用于最小化一个函数（通常是损失函数）的值，找到其对应的参数
  • 梯度的计算
    • 数值梯度法
      • 常与解析梯度作比较进行梯度检查
      • 使用例子
        • 
    • 解析梯度法
      • 使用微积分（求偏导[链式法则]，梯度）
  • 选择步长（学习率）
    • 在更新参数时，指出在那个梯度下降方向前进多少距离。过大和过小都有问题
  • 更新参数
    • 根据梯度$\nabla L(w_{\text{old}})$和学习率$\alpha$更新参数$w$
      • $w_{\text{new}}=w_{\text{old}}-\alpha \nabla L(w_{\text{old}})$
  • 随机梯度下降（SGD）
    • 在更新参数时，随机选取训练集中的一个样本，而非整个数据集