机器学习读书笔记之11 - 岭回归 & LASSO回归

        回归 就是 对数据进行拟合，我们常说的 线性回归、高斯回归、SVR、Softmax 都是属于 回归。

        最小二乘大家再熟悉不过了，作为入门级的线性回归，可能会遇到的一些问题：

（1）参数稳定性和精度问题

        如果 观测数据和参数 之间有比较明显的线性关系，最小二乘回归会有很小的偏倚；

        如果观测数据个数N远大于参数个数P时，最小二乘回归能得到较小的方差，如果N和P数量接近时，噪声会导致过拟合的产生；

（2）模型解释能力问题

        在一个多元线性回归模型里，很多参数可能 和 观测数据无关；

        或者也有可能 多个参数之间明显相关（有些参数是多余的）。

        这些情况会增加模型的复杂程度，削弱模型的解释能力，通常需要进行 参数选择（特征选择）。

针对这些问题通常有三种解决方案：

（1）子集测试方法

        这个最容易理解，选取