损失函数
接下来,我们需要一个损失函数来度量预测的效果。 我们将使用最大似然估计。
均方损失函数(L2 Loss)
=((真实值-预测值)^2)/2
绿色:高斯分布,似然函数,1^(-l)
蓝色:二次函数,y为0时,关于y'的函数
橙色:表示损失函数的梯度,一次函数,且穿过原点。
梯度下降时,沿负梯度方向更新参数,导数决定如何更新参数。y'(预测值)与y相差较大时,梯度较大,对参数更新的幅度较大。当越靠近原点,梯度的绝对值越来越小,对参数更新的幅度也越来越小。
接下来,我们需要一个损失函数来度量预测的效果。 我们将使用最大似然估计。
=((真实值-预测值)^2)/2
绿色:高斯分布,似然函数,1^(-l)
蓝色:二次函数,y为0时,关于y'的函数
橙色:表示损失函数的梯度,一次函数,且穿过原点。
梯度下降时,沿负梯度方向更新参数,导数决定如何更新参数。y'(预测值)与y相差较大时,梯度较大,对参数更新的幅度较大。当越靠近原点,梯度的绝对值越来越小,对参数更新的幅度也越来越小。