广义线性回归

最小二乘法（Least squares）线性回归：

代价函数（loss function损失函数，成本函数）：

代价函数为均方误差，注意 是向量，代表的是第几个训练样本。

优化方法（解方程的方法）一般为正规方程法，在特征数量大的时候，正规方程计算会很缓慢，应该把优化方法替换为梯度下降。

正规方程（闭式解）：

对正规方程的理解可阅读：https://blog.csdn.net/kokerf/article/details/72437294

 

岭回归：

代价函数：

使用的 范数。MSE后面一项可被称为惩罚项，是一种正规化的方法，目的是泛化模型，避免过拟合。

岭回归闭式解：

A是单位矩阵将左上角的1换成0后的方阵。同样可以用梯度下降优化（实际上只要能求出参数（权值）相对于方程的导数或偏导数，都可以通过梯度下降、动量优化、RMSProp、Adam等优化器解出来，这种暴力求解通常很好用，因为大部分模型找不到闭式解）。

 

套索回归：

类似岭回归，还是线性方程加正规项，代价函数：

和岭回归相比，使用的是 范数，且去掉了 。因为使用的是 范数，所以部分特征的权值在优化的过程中成了0，所以也可以说套索回归有稀疏模型的功能（不知道是否有闭式解）。

 

弹性网络：

岭回归和套索回归的合体版，代价函数：

 

关于以上1、2、3、4模型做个总结，一般情况下，2、3、4优于1，一般用岭回归最好，但有时候你可能知道（你具备一些先验知识）只有少数特征起决定性作用，这种情况下建议用4，3可以忽略了。