机器学习与算法（9）--岭回归（Ridge Regression）

最新推荐文章于 2024-09-21 10:37:30 发布

mensyne

最新推荐文章于 2024-09-21 10:37:30 发布

阅读量1.4w

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/xgxyxs/article/details/79436195

版权

岭回归（Ridge Regression）是一种解决共线性数据分析的正则化方法，尤其适用于病态数据。它通过添加正则化项改进了最小二乘法的稳定性，尽管牺牲了无偏性。该方法在矩阵行列式接近于零时提供更高的计算精度和稳定性。岭回归在多个领域，如经济和工程，有广泛应用。

摘要由CSDN通过智能技术生成

岭回归（Ridge Regression）

岭回归(ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

岭回归，又称脊回归、吉洪诺夫正则化（Tikhonov regularization），是对不适定问题（ill-posed problem)进行回归分析时最经常使用的一种正则化方法。对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。

岭回归分析核心思想是采用最小二乘法原理来求解回归系数，最小二乘法思想背景：1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯计算了谷神星的轨道并进行了分析。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题，X通常是列满秩的：