文章介绍了在优化MSE损失函数时，为了防止过拟合，引入正则项的重要性。L1正则化倾向于产生稀疏解，而L2正则化则通过椭圆形状的约束避免参数过大。当损失函数加上L1正则项后，最优解更容易使某些参数为零，从而实现模型的简化。
正则项
一般地，我们优化 M S E MSE MSE
l m s e = ∑ i ( y i − y ^ i ) 2 n l_{mse}=\frac{\sum_i (y_i-\hat y_i)^2}{n} lmse=n∑i(yi−y^i)2
为了使参数尽可能小，加入正则项，防止过拟合，减小方差。L1正则可以更容易得到稀疏项。这一点可以降低参数量举个例子。例如我们的参数只有 w 1 w_1 w1和 w 2 w_2 w2，那么我们的目标是让损失为0，如果损失为0，L1正则对应的是菱形，L2正则对应的是圆， M S E MSE MSE损失函数对应的是偏离原点的椭圆，是关于椭圆的平移变换。
l
m
s
e
+
∣
w
1
∣
+
∣
w
2
∣
=
0
l_{mse}+|w_1|+|w_2| = 0
lmse+∣w1∣+∣w2∣=0
则
l
m
s
e
=
−
(
∣
w
1
∣
+
∣
w
2
∣
)
l_{mse} = - (|w_1|+|w_2|)
lmse=−(∣w1∣+∣w2∣)
− ( ∣ w 1 ∣ + ∣ w 2 ∣ ) - (|w_1|+|w_2|) −(∣w1∣+∣w2∣)表示一个菱形，与 l m s e l_{mse} lmse的交点可以更容易使得 w 1 w_1 w1和 w 2 w_2 w2为0，得到稀疏性。
注：上述这一部分可以参考西瓜书253页
参考资料
https://blog.csdn.net/jinping_shi/article/details/52433975 (感觉讲的不错)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
