Tikhonov正则化详解

目录

前言

一、Tikhonov正则化是什么？

二、使用步骤

1.线性回归模型

2.推广

---

前言

关于线性回归与非线性优化方向的工作，很多时候需要面对数据噪声，过拟合等问题，实测使用Tikhonov正则化可去的较好的效果。

Tikhonov正则化的发音为 ti−khuh−nawf。在中文中一般写作 "吉洪诺夫"。

---

一、Tikhonov正则化是什么？

Tikhonov正则化（也称为 ridge regression 或岭回归）是一种线性回归分析方法，在解决病态问题和过拟合问题时非常有用。在统计学和机器学习领域，它通过在优化目标函数中加入一项正则项（惩罚项）来改进模型的泛化能力，并且有助于稳定系数估计，尤其是在特征之间高度相关的数据集上。

二、使用步骤

1.线性回归模型

应用（示例）：

在标准线性回归模型中，我们通常试图最小化残差平方和，即：