Lasso Regression||Ridge Regression||正则化||范数L1、L2||最小二乘关系详解

• 最小二乘

目标函数为：
$$\underset{w}{\min }||Xw-y|{|}_2^2$$
对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。 当各项是相关的，且设计矩阵(design matrix) X 的各列近似线性相关， 那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。 例如，在没有实验设计的情况下收集到的数据，这种多重共线性（multicollinearity）的情况可能真的会出现。

• Ridge regression岭回归

目标函数：
$$\underset{w}{\min }||Xw-y|{|}_2^2+\alpha ||w|{|}_2^2$$
其中, $α≥0 $是一个控制缩减量(amount of shrinkage)的复杂度参数: α 的值越大, 缩减量就越大，故而线性模型的系数对共线性(collinearity)就越鲁棒.

• Lasso Regression

目标函数：
$$\underset{w}{\min }\frac{1}{2n_{samples}}||Xw-y|{|}_2^2+\alpha ||w|{|}_1$$

• 范数

范数是一个用于描述长度的函数，分为向量范数和矩阵范数。详细见文章：向量范数：1-范数、2-范数、无穷范数；矩阵范数；欧几里得度量

• Reference

1. 1.1. 广义线性模型(Generalized Linear Models)
2. Linear least squares, Lasso,ridge regression有何本质区别？
3. 统计学习：变量选择之Lasso
4. 稀疏性正则化 (Regularization for Sparsity)：L₁ 正则化
5. 机器学习方法：回归（二）：稀疏与正则约束ridge regression，Lasso
6. Lasso回归算法： 坐标轴下降法与最小角回归法小结
7. Sparsity and Some Basics of L1 Regularization
8. 从Lasso开始说起
9. 机器学习算法实践-岭回归和LASSO