李沐 损失函数【动手学深度学习v2】

损失函数

接下来，我们需要一个损失函数来度量预测的效果。 我们将使用最大似然估计。

均方损失函数（L2 Loss）

                    =((真实值-预测值)^2)/2

绿色：高斯分布，似然函数，1^(-l)

蓝色：二次函数，y为0时，关于y'的函数

橙色：表示损失函数的梯度，一次函数，且穿过原点。

梯度下降时，沿负梯度方向更新参数，导数决定如何更新参数。y'(预测值)与y相差较大时，梯度较大，对参数更新的幅度较大。当越靠近原点，梯度的绝对值越来越小，对参数更新的幅度也越来越小。

绝对值损失函数（L1 Loss）