正则化最小二乘估计

对于给定的训练样本 { x i , d i } i = 1 N \lbrace x_i, d_i\rbrace _{i=1} ^{N} {xi​,di​}i=1N​，最小二乘估计的正则化代价函数由下式定义：
$$\epsilon (w)=\frac{1}{2}\sum _{i=1}^N(d_i-w^T{X}_i{)}^2+\frac{1}{2}\lambda ||w|{|}^2$$
正则化项以w的形式简单地定义：
$$||DF|{|}^2=||W|{|}^2=W^{T}W$$
关于权值向量$\hat{W}$都正则化解的预期响应d的表达式有：
$$\hat{W}=(R_{x}x+\lambda I{)}^{-1}{r}_{dx}$$
$$R_{xx}=\sum _{i=1}^N\sum _{j=1}^N{X}_i{X}_j^T$$
$$r_{dx}=\sum _{i=1}^N{X}_i{d}_i$$
以训练样本 { x i , d i } i = 1 N \lbrace x_i, d_i\rbrace _{i=1} ^{N} {xi​,di​}i=1N​的形式重申$\hat{W}$，有：
$$\hat{W}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}d$$
X为输入数据矩阵

把最小二乘估计看成一个"核机器"，把它的核表示成内积的形式：
$$k(X,X_i)=<X,X_i>=X^T{X}_i,i=1,2,...,N$$
定义正则化最小二乘估计表示逼近函数：
$$F_{\lambda }(X)=\sum _{i=1}^N{a}_{i}k(X,X_i)$$