机器学习总结（3）-- 线性回归（linear regression）

最新推荐文章于 2024-07-25 12:50:29 发布

alan2448

最新推荐文章于 2024-07-25 12:50:29 发布

阅读量240

点赞数

分类专栏：机器学习系列笔记文章标签：机器学习

本文链接：https://blog.csdn.net/alan2448/article/details/114853978

版权

2 篇文章 0 订阅

订阅专栏

机器学习总结

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

在这里插入图片描述

针对高方差，即过拟合的模型，解决办法之一就是对模型进行正则化：限制参数大小，当线性回归过拟合时，权重系数 $w_j$ 就会非常的大，岭回归就是要解决这样的问题。

公式:
$\frac{1}{2m}\sum_{i-1}^{m}(y^{i}-\sum_{j}^{}w_{j}x_{j}^{i})^{2}+\frac{\lambda }{2}\sum_{j}w_{j}^{2}$
而岭回归中L2正则项不具备这个功能，它只会讲一些无关特征的系数降到一个较小的值，但不会降为0。并且L2正则有解析解，L1没有.

Lasso回归和岭回归类似，不同的是，Lasso可以理解为在线性回归基础上加入一个L1正则项，同样来限制W不要过大。其中λ>0，通过确定λ的值可以使得模型在偏差和方差之间达到平衡，随着λ的增大，模型的方差减小，偏差增大。
公式:
$\frac{1}{2m}\sum_{i-1}^{m}(y^{i}-\sum_{j}^{}w_{j}x_{j}^{i})^{2}+\lambda\sum_{j}\left |w_{j} \right |$
Lasso由于使用L1正则项，所以具有一定的特征选择功能，因为L1正则倾向于产生稀疏稀疏，它可以将一些“对标签没有用处”的特征对应的系数压缩为0，进而将对结果有较大影响的特征突显出来。

弹性网络是一种使用 L1，L2范数作为先验正则项训练的线性回归模型.这种组合允许学习到一个只有少量参数是非零稀疏的模型，就像 Lasso一样，但是它仍然保持一些像Ridge的正则性质。我们可利用 l1_ratio 参数控制L1和L2的凸组合。弹性网络是一不断叠代的方法。
公式：
$\frac{1}{2m}\sum_{i-1}^{m}(y^{i}-\sum_{j}^{}w_{j}x_{j}^{i})^{2}+\lambda\alpha \sum_{j}\left |w_{j} \right |+\frac{1-\gamma}{2}\sum_{j}w_{j}^{2}$
弹性网络最妙的地方是它永远可以产生有效解。由于它不会产生交叉的路径，所以产生的解都相当不错。在实践中，Lasso 和 Ridge 之间权衡的一个优势是它允许在循环过程（Under rotate）中继承 Ridge 的稳定性。

关注

专栏目录