（光滑样条）Smoothing spline的数学推导

一般的不加入光滑因子的拟合误差如下式：
R S S ( f , λ ) = ∑ i = 1 N { y i − f ( x i ) } 2 RSS(f,\lambda)=\sum_{i=1}^{N}\left\{y_{i}-f(x_{i})\right\}^{2} RSS(f,λ)=i=1∑N​{yi​−f(xi​)}2 引入$\lambda 光滑因子式均方误差$
R S S ( f , λ ) = ∑ i = 1 N { y i − f ( x i ) } 2 + λ ∫ { f ′ ′ ( t ) } 2 d t RSS(f,\lambda)=\sum_{i=1}^{N}\left\{y_{i}-f(x_{i})\right\}^{2}+\lambda\int\left\{f^{''}(t)\right\}^{2}dt RSS(f,λ)=i=1∑N​{yi​−f(xi​)}2+λ∫{f′′(t)}2dt其中，$f(x)={\sum }_{j=1}^N{N}_j(x){\theta }_j$，对上式用矩阵的形式表示可得如下形式：
$$RSS(\theta ,\lambda )=(y-N\theta {)}^T(y-N\theta )+\lambda {\theta }^T{\Omega }_N\theta$$其中， { N } i j = N j ( x i ) \left\{N\right\}_{ij}=N_{j}(x_i) {N}ij​=Nj​(xi​) , { Ω N } i j = ∫ N j ′ ′ N k ′ ′ d t \left\{\Omega_{N}\right\}_{ij}=\int N_{j}^{''}N_{k}^{''}dt {ΩN​}ij​=∫Nj′′​Nk′′​dt，我相信有一部分同学觉得公式来的太突然。当我们将前面$f(x)={\sum }_{j=1}^N{N}_j(x){\theta }_j$代入$RSS$的计算公式中，将${\left\{f^{{}^{\prime \prime }}(t)\right\}}^2$分解成$f^{{}^{\prime \prime }}(t)\ast f^{{}^{\prime \prime }}(t)$根据矩阵的一些乘积变换即可得到$RSS(\theta ,\lambda )$
然后对$\theta$求导等于0,也就是最小二乘法的思想
$$\hat{\theta }=(N^{T}N+\lambda {\Omega }_N{)}^{-1}{N}^{T}y$$将我们得到的$\hat{\theta }$带入原来的拟合函数可得$$\hat{f}(x)=\sum _{j=1}^N{N}_j(x)\widehat{{\theta }_j}$$
$-----------------分割线----------------$
在我们进行接下来的分析前我们先回顾一下未引入光滑参数的情况，并一次来探讨自由度和光滑矩阵的问题：
设B是一个N*M的矩阵，N代表有N观测点
此时$$\hat{f}=B(B^{T}B{)}^{-1}{B}^{T}y=Hy$$
矩阵H具有对称，半正定的性质，类似的矩阵$S_{\lambda }$也具有对称半正定的性质。
矩阵H还是幂等矩阵，所以$H\ast H=H$这点不难证明，只需要乘一次就能得到，幂等矩阵具有特征值非1即0的性质，而$S_{\lambda }\ast S{}_{\lambda }<=S_{\lambda }$，在这里也能看到矩阵$S_{\lambda }$有着压缩的作用。
矩阵H秩为M，矩阵S的秩为N，在投影空间中M=trace(H)，这也是基础函数的个数，类似的我们定义光滑样条的有效自由度为：$$d{f}_{\lambda }=trace(S_{\lambda })$$
有很多讨论支持有效自由度的定义，下面进行讨论：
将$S_{\lambda }$写成$Reinsh$形式：
$$\begin{gathered} S_{\lambda }=N(N^{T}N+\lambda {\Omega }_N)N^T \\ =N(N^T[I+\lambda N-T{\Omega }_N{N}^{-1}]N{)}^{-1}{N}^T \\ =(I+\lambda N^{-T}{\Omega }_N{N}^{-1}{)}^{-1} \end{gathered}$$也就是说矩阵$S_{\lambda }$可以写成如下形式
$$S_{\lambda }=(I-\lambda K{)}^{-1}$$
此时$RSS(f)=(y-f{)}^T(y-f)+\lambda f^{T}Kf$，最小化RSS的$\hat{f}=S_{\lambda }y$。
由于矩阵S的对称半正定性质，所以对其进行特征分解：
$$S_{\lambda }=\sum _{k=1}^N{\rho }_k(\lambda )u_k{u}_k^T$$
其中，${\rho }_k(\lambda )=\frac{1}{1+\lambda d_k}$,这里的$d_k$是矩阵K的特征值。

此时我们可以对$\hat{f}$重新写成：$\hat{f}=S_{\lambda }y=\sum _{k=1}^N{\rho }_k(\lambda )u_k{u}_k^{T}y$,这里可以看作$u_k$对y的分解。
引入下面一张图片，对这里所说的特征向量进行说明：

从这张图中我们可以看到随着特征值的减少，矩阵的特征向量越复杂，但同时也在压缩，这也就是为什么矩阵的特征值能达到压缩自由度的原因，而且特征向量与参数$\lambda$无关。
关于参数$\lambda$大小的选取（这里仅仅给出R语言的实现，具体证明有空再写）：
1：固定有效自由度，反解出其大小

2：利用留一交叉验证进行求解