岭回归等价于对数据矩阵进行维纳滤波

岭回归等价于对数据矩阵进行维纳滤波

背景知识之普通最小二乘法

假设训练集 $\mathcal{D}$ 包含 $m$ 个样本 ${\left\{{\mathbf{x}}^{(i)},y^{(i)}\right\}}_{i=1}^m$。每个样本 $i$ 包括一个标量目标值 $y^{(i)}$ 和一个包含 $n$ 个特征的特征向量 ${\mathbf{x}}^{(i)}$，即 ${\mathbf{x}}^{(i)}={\left[x_1^{(i)},x_2^{(i)},\dots ,x_n^{(i)}\right]}^T$。这一般会是一个过定系统，也就是说方程组中的方程数量多于未知数的数量，也即$m>n$。训练样本数量一般远大于模型参数在线性回归模型中，目标变量 $y^{(i)}$ 是特征的线性函数：

$$\sum _{j=1}^n{x}_j^{(i)}{\theta }_j=y^{(i)},(i=1,2,\dots ,m),$$

该系统包含 $m$ 个线性方程和 $n$ 个未知系数 ${\theta }_1,{\theta }_2,\dots ,{\theta }_n$，并且满足 $m>n$。可以将其写成矩阵形式为

$$\mathbf{X}\mathbf{\theta }=\mathbf{y},$$

其中

$$\mathbf{X}=\left[\begin{array}{cccc}{x}_1^{(1)}& x_2^{(1)}& \cdots & x_n^{(1)}\\ x_1^{(2)}& x_2^{(2)}& \cdots & x_n^{(2)}\\ ⋮& ⋮& \ddots & ⋮\\ x_1^{(m)}& x_2^{(m)}& \cdots & x_n^{(m)}\end{array}\right],\mathbf{\theta }=\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_n\end{array}\right],\mathbf{y}=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right].$$

（注意：对于上述线性模型，$\mathbf{X}$ 的第一列通常全为1，称为"截距项"或"偏置项"，其余列则包含实际的特征数据。这里的 $n$ 等于特征数量加一。）

这样的系统通常没有精确解，因此目标是找到系数 $\mathbf{\theta }$，使方程的拟合"最佳"，在这种情况下，通过求解二次最小化问题来实现：

$$\hat{\mathbf{\theta }}=\underset{\mathbf{\theta }}{\mathrm{argmin}}J(\mathbf{\theta }),$$

其中目标函数 $J$ 定义为

$$J(\mathbf{\theta })=\sum _{i=1}^m$$