线性回归的小trick

线性回归

感觉线性回归当中讲的东西不太多，前提是不涉及贝叶斯的情况，关于贝叶斯相关的回归，可以学习一下bishop的PRML（模式识别与机器学习），之前我在学习统计相关的课程的时候也接触过一点。。。记得lasso、岭回归什么的都是贝叶斯线性回归的退化情况。

普通的广义线性模型，都是拟合一个带有系数  的线性模型，使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式为：

，当然如果是做分类的话，请参照李航的logistic回归、后面的博客我在仔细说一下关于logistics回归与softmax回归。后面得到系数

这篇博客主要介绍岭回归、lasso、弹性网络回归三种线性回归加正则项的方式并比较一下。事实上降低模型的过拟合的好方法是正则化这个模型（即限制它）：模型有越少的自由度，就越难以拟合数据。例如，正则化一个多项式模型，一个简单的方法就是减少多项式的阶数。

对于一个线性模型，正则化的典型实现就是约束模型中参数的权重。 接下来我们将介绍三种不同约束权重的方法：Ridge 回归，Lasso 回归和 Elastic Net。

岭回归

岭回归通过对系数的大小施加惩罚来解决