对LASSO和岭回归的理解（频率派）

正则化是机器学习里缓解过拟合的有效手段，为什么呢？常用的正则化包含L1和L2正则化，顾名思义，L1就是权值矩阵W的L1范数，L2是W的二范数。对于给定的数据N*P维的X，一般默认数据量N>>P，然而，也存在N<P的情况，例如，X只有一个点（N=1），用一条线来拟合就可以有无数种情况，这便是过拟合最简单的情形。由最小二乘估计的相关知识我们知道W的预估值为：

 表达式的值包含X的转置*X的逆矩阵，X为N*P的矩阵，如果N<P就会导致X不可逆，从而无法求解上式子，这也是开头我们提到如果X是多维但只有一个数据的话拟合方式有无数种，那么如何解决这个问题呢？思路之一是在损失函数后添加正则化：

P（W）就是正则化项，当P（W）为二范数时，待优化函数为：

对其展开求偏导得极值：

发现预估的W里多了一项I其中 是正则化系数，为0-1之间，I为单位矩阵，加上这一项后必然可导，也就解决了过拟合的问题。

 贝叶斯派的思想后面更新