正则项动机
优化目标：
min
J
=
J
0
+
L
=
J
(
w
)
+
α
∣
w
∣
\min J = J_0 + L = J(w) + \alpha |w|
minJ=J0+L=J(w)+α∣w∣
其中，
J
0
J_0
J0是指本身的最小化目标，它是关于
w
w
w函数；
L
L
L控制参数，避免过拟合。
物理含义
如图1所示，蓝色圆表示 J 0 J_0 J0等值线（等高线），每往外多一个圈，其值就增加 δ \delta δ；黑色棱型表示 L L L等值线，每往外多一层，其值就增加 α \alpha α. 二维平面上的每一点，对应的 J J J值就是蓝色等值线与黑色等值线之和。
例1 极端例子
如图1所示，所有蓝色圈的圆心都在45度方向。观察图中最外层蓝圈，在45度方向（ w 1 = w 2 w_1 = w_2 w1=w2）上的切点， J = 5 δ + α J = 5 \delta + \alpha J=5δ+α，而与 w 1 w1 w1轴交点上， J = 5 δ + 2 α J = 5 \delta + 2 \alpha J=5δ+2α. 从时可观察到， J J J最小值应在45度方向上取得。
例2 一般情况
如图2所示，蓝色圈的圆心没那么规律，而是偏向了 w 2 w2 w2轴。在第2层圆圈上， J J J最小的值为 2 δ + 5 α 2 \delta + 5 \alpha 2δ+5α，对应的点在60度方向; 在第6层圆圈上， J J J的最小值为 6 δ + α 6 \delta + \alpha 6δ+α, 对应的点在 w 2 w2 w2轴上。
这两个图也说明了两个系数的重要性。图1中 w 1 w_1 w1和 w 2 w_2 w2同等重要，图2中 w 2 w_2 w2更加重要，甚至在某些情况下可以把 w 1 w1 w1设置为0，即删除相应的属性。
进一步分析
- α \alpha α越大，使得 J J J最小的坐标点 ( w 1 , w 2 ) (w_1, w_2) (w1,w2)越靠近坐标原点； α \alpha α越小，使得 J J J最小的坐标点越靠近最小的圆圈中心。
- J J J的最小值应在从坐标原点到最小的圆圈中心的一条路径上。图3描述了 J 0 J_0 J0与 L L L的折中。
- 如果是 L 2 L_2 L2正则化，则棱形换成圆圈，更容易在非坐标轴方向获得最小值。
参考文献
[1] https://blog.csdn.net/jinping_shi/article/details/52433975
786
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
