从LR看正则化

在二维平面中，有三条分割线
x1 + x2 = 0
2x1 + 2x2 = 0
-x1 - x2 = 0
图形都一样，到底该选哪个？
即w1x1+w2x2+w0=0 如果表示一条直线的话，w可以有无数种组合。

关于法向量

1、在逻辑回归LR中，$f(x)=\frac{1}{1+exp(-(wx+w_0))}$，w作为分割平面的法向量，与其代表的分割平面是垂直的。
例如：在二维平面中，当 w= [1,1] 时，x1+x2 =0 的直线是向右下倾斜的。
一条直线有无数条法向量。

那么，WX什么时候取值 > 0 ？ ——看夹角是否大于90度。
即分割平面哪边取值为正是由法向量决定的。
例如：在二维平面中， w= [1,1] 与 w= [-1,-1] ，两种 w 所对应的f（x）值是恰好相反。

2、法向量所指的方向是 wx+w0 取值为正的方向。若w取反，则$f(x)=\frac{1}{1+exp((wx+w_0))}$，这即为x为负的概率。
而$\frac{1}{1+exp(-(wx+w_0))}+\frac{1}{1+exp((wx+w_0))}=1$

W系数等比放大会怎样

1、对于分割平面无影响

2、如果已经找到了某组W的取值可以对数据进行二分类了，那么此时等比扩大W的取值，模型的Loss会变小，会使分类的结果更硬，更靠近sigmoid的平缓区。此时模型输出会更接近0或者1，也就是loss更小。这就会导致W的值会越学越大。

3、在 w1x1+w2x2+w0 中，若w1很大，则当x1发生很小变化的时候，传递的结果就会发生很大的变化。
a、考虑到x1发生的很小变化可能是噪声影响时，w很大会影响系统的准确性。
b、同时，w很大不利于系统的稳定。因为w同时会对真实信号和噪声放大。
解释：一般来说，当特征非常多时，会存在信息的冗余，比如假设每个 y（健康程度） 对应一组10维的特征（身高，体重…），可能真实相互之间独立的只有7维（比如身高和体重会有某种程度上的信息冗余）。而这10维特征的噪声相互之间是互相独立不存在冗余的，放大w就会导致模型的信噪比越来越小。

4、监督学习的目标大概来说可以分成两部分：a、在训练集上表现好，表示为loss小；b、模型在训练集和测试集的差距小。
对于b，随机猜的模型可以使模型在训练集和测试集上表现差距小，因为这时候模型不受任何参数限制。也就是说在LR中，当w=0的时候，训练和测试差距最小。所以为了使得模型在训练集和测试集的差距小，w的取值应当往值小的地方靠。

正则项的作用

1、从机器学习的角度：抑制w在分类正确的情况下，按比例无限的增大

2、减少测试集和训练集的差异

3、破坏训练集的效果

L1和L2正则

二者都是牺牲了分类效果。

从二者的原理来看，L1是直线性的降低分类效果，L1是$\lambda |w|$，导数是$\lambda$，对于某个w来说，它的取值每次减少固定的数值后可能会归0。 也就是说L1能起到降维作用。

L1是$\lambda (w{)}^2$，导数是 $\lambda w$，当w缩小时，L2对分类的破坏程度会越来越低，这就导致用L2正则化并不会使w的取值降到0.

综上，L1是让不重要的权重变小乃至变为0，L2是让所有权重均匀的变小。

其他

在线性回归中，并不能直接把取值小的w直接降维。原因在于某个特征的权重小，可能是由于信息冗余导致的，比如若x1，x2实际上如果是一种特征，那么x1+9x2和5x1+5x2 其实得到的是一个结果，若是贸然降维，会导致信息量的减小。如果要降维的话，使用L1进行降维。L2正则在数学上比较完美，但是实际上用的很少。