分段多项式和样条

分段多项式和样条(附自然三次样条基函数证明，参考ESL）

一个分段多项式发f(x)可以用如下方法得到：X的定义域划分成连续区间，在每个区间用一个多项式表示。

$$h_1(X)=I(X<{\zeta }_1);h_2(X)=I({\zeta }_1\le X<{\zeta }_2);h_3(X)=I({\zeta }_2\le X)$$
如果使用1阶多项式的模型，就还要三个附加的基函数：$$h_{m+3}=h_m(X)X，m=1,2,3$$

除特殊情况外，一般引用第三幅图，它也是分段线性的，但在两个纽结上限制为连续的。这些连续性限制导致参数上的线性约束；例如，$f({\zeta }_1^{-})=f({\zeta }_1^{+})$蕴涵${\beta }_1+{\zeta }_1{\beta }_4={\beta }_2+{\zeta }_1{\beta }_5$。在此情况下，由于有两个限制，我们期望得到两个参数，忽略四个自由参数。一种处理该情况更直接的方法是使用结合约束的基函数：
$$h_1(X)=1,h_2(X)=X,$$
$$h_3(X)=(X-{\zeta }_1{)}_{+},h_4(X)=(X-{\zeta }_2{)}_{+}$$
其中，$t_{+}$表示正的部分，函数$h_3$ 如右图所示。

可以看到一阶多项式为基函数线条不够光滑，函数表达能力一般，于是使用3阶多项式，并保证在断点处函数值连续，一阶、二阶导函数连续。这称为三次样条，基函数如下所示：
$$h_1(X)=1,h_2(X)=X,h_3(X)=X^2,h_4(X)=X^3$$
$$h_5(X)=(X-{\zeta }_1{)}_{+}^3,h_6(X)=(X-{\zeta }_2{)}_{+}^3$$
一般地,一个具有纽结${\zeta }_j(j=1,\dots ,K)$的M次样条是一个M次分段多项式,并具有高达M-2阶连续导函数。三次样条有M=4，在纽结上具有连续的1、2阶导数。
截尾幂基集的一般形式是（K+M个基函数）：
$$h_j(X)=X^{j-1},j=1,\dots ,M$$
$$h_{M+\iota }(X)=(X-{\zeta }_{\iota }{)}_{+}^{M-1},\iota =1,\dots ,K$$
可以断言，三次样条是肉眼看不出纽结上不连续的最低阶样条。在实践中，最广泛使用的样条次数为M=1,2和4。
order为M，含有K个结点的样条其自由度为M(K+1)-K(M-1)=K+M，左边第一项表示K+1个区域中每个区域需要M个参数，而第二项表明K个结点中需要M-1个限制。比如，对于三次样条，M=4则自由度为K+4。

我们知道，多项式拟合的行为在靠近边界处趋于不稳定，并且外推可能是危险的。对于样条，这些问题更加严重。在同一区间，与对应的全局多项式相比，越过边界纽结的多项式拟合更加不受控制。

自然三次样条(natural cubic spline)

自然三次样条添加额外的限制，具体地，令边界结点之外的函数是线性的。这样减少了4个自由度（两个边界区域分别两个限制条件），这四个自由度可以通过在内部区域取更多的结点花费掉。
具有K个纽结的自然三次样条用K个基函数表示：
$$N_1(X)=1,N_2(X)=X,N_{k+2}(X)=d_k(X)-d_{K-1}(X)$$
其中
$$d_k(X)=\frac{(X-{\zeta }_k{)}_{+}^3-(X-{\zeta }_K{)}_{+}^3}{{\zeta }_K-{\zeta }_k}$$

证明：

不对边界处做限制时，模型为：
$$f(x)=\sum _{j=0}^3{\beta }_j{X}^j+\sum _{k=1}^K{\theta }_k(X-{\zeta }_k{)}_{+}^3$$
对于$x_1\le {\zeta }_1，f^{\prime }(x_1)={\beta }_1+2{\beta }_2{x}_1+3{\beta }_3{x}_1^2$
由于1阶导数应为常数，所以${\beta }_2={\beta }_3=0$
对于$x_2\ge {\zeta }_K$，
$$\begin{array}{rl}{f}^{\prime }(x_2)& ={\beta }_1+3\sum _{k=1}^K{\theta }_k(x_2-{\zeta }_k{)}_{+}^2\\ & ={\beta }_1+3\sum _{k=1}^K{\theta }_k{x}_2^2-6\sum _{k=1}^K{\theta }_k{x}_2{\zeta }_k+3\sum _{k=1}^K{\theta }_k{\zeta }_k^2\end{array}$$
同理，由于1阶导数应为常数，所以
$$\sum _{k=1}^K{\theta }_k=\sum _{k=1}^K{\theta }_k{\zeta }_k=0\text{\hspace{1em}(1)}$$
由（1）解方程得
$${\theta }_{K-1}=\frac{{\sum }_{k=1}^{K-2}{\theta }_k{\zeta }_k-{\zeta }_K{\sum }_{k=1}^{K-2}{\theta }_k}{{\zeta }_K-{\zeta }_{K-1}}$$
$${\theta }_K=\frac{{\zeta }_{K-1}{\sum }_{k=1}^{K-2}{\theta }_k-{\sum }_{k=1}^{K-2}{\theta }_k{\zeta }_k}{{\zeta }_K-{\zeta }_{K-1}}$$
对于${\sum }_{k=1}^K{\theta }_k(X-{\zeta }_k{)}_{+}^3，{\theta }_{K-1}$ 和${\theta }_K$ 展开与${\theta }_i$合并，则有

$$\sum _{k=1}^K{\theta }_k(X-{\zeta }_k{)}_{+}^3=\sum _{k=1}^{K-2}({\theta }_k(X-{\zeta }_k{)}_{+}^3+\frac{{\theta }_k{\zeta }_k-{\zeta }_K{\theta }_k}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_{K-1}{)}_{+}^3+\frac{{\zeta }_{K-1}{\theta }_k-{\theta }_k{\zeta }_k}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_K{)}_{+}^3)$$
$$\begin{array}{rl}& {\theta }_k(X-{\zeta }_k{)}_{+}^3+\frac{{\theta }_k{\zeta }_k-{\zeta }_K{\theta }_k}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_{K-1}{)}_{+}^3+\frac{{\zeta }_{K-1}{\theta }_k-{\theta }_k{\zeta }_k}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_K{)}_{+}^3\\ & ={\theta }_k((X-{\zeta }_k{)}_{+}^3+\frac{{\zeta }_k-{\zeta }_K}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_{K-1}{)}_{+}^3+\frac{{\zeta }_{K-1}-{\zeta }_k}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_K{)}_{+}^3)\\ & ={\theta }_k((X-{\zeta }_k{)}_{+}^3+\frac{{\zeta }_k-{\zeta }_K}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_{K-1}{)}_{+}^3-\frac{{\zeta }_k-{\zeta }_K+{\zeta }_K-{\zeta }_{K-1}}{{\zeta }_K-{\zeta }_{K-1}}(X-{\zeta }_K{)}_{+}^3)\\ & ={\theta }_k((X-{\zeta }_k{)}_{+}^3-(X-{\zeta }_K{)}_{+}^3+\frac{{\zeta }_k-{\zeta }_K}{{\zeta }_K-{\zeta }_{K-1}}((X-{\zeta }_{K-1}{)}_{+}^3-(X-{\zeta }_K{)}_{+}^3))\\ & ={\theta }_k({\zeta }_K-{\zeta }_k)(\frac{(X-{\zeta }_k{)}_{+}^3-(X-{\zeta }_K{)}_{+}^3}{{\zeta }_K-{\zeta }_k}-\frac{(X-{\zeta }_{K-1}{)}_{+}^3-(X-{\zeta }_K{)}_{+}^3}{{\zeta }_K-{\zeta }_{K-1}})\end{array}$$
因此第k+2个基函数就是$d_k(X)-d_{K-1}(X)$
通常来说，回归样条得到的结果优于多项式回归。因为多项式回归需要通过设定很高的次数才能得到较为光滑的拟合效果，样条则通过增加节点个数但保持次数固定的方法来使结果变得光滑。回归样条允许我们在函数变动较快的区域设置多个节点，在稳定的区域设置较少的节点。

光滑样条

不加入光滑因子的拟合误差如下式：
$$RSS(f,\lambda )=\sum _{i=1}^N(y_i-f(x_i){)}^2$$
引入光滑因子后：
$$RSS(f,\lambda )=\sum _{i=1}^N(y_i-f(x_i){)}^2+\lambda \int {f^{\prime \prime }(t)}^{2}dt$$
其中，$\lambda$是固定的光滑参数(smoothing parameter)。第一项度量与数据的邻近性，而第二项惩罚函数的曲率，并且λ建立二者之间的权衡。两种特殊情况是:
$\lambda =0$: f可以是对数据插值的任意函数。
$\lambda =\infty$：简单的最小二乘方直线拟合，因为没有二阶导数。
$\lambda$的值越大，代表函数越光滑。
值得注意的是,可以证明式$RSS(f,\lambda )$具有一个显式的、有限维的、惟一的最小化,它就是自然三次样条,纽结在$x_i(i=1,2,\dots ,N)$的惟一值上。看上去这一族方法过于参数化,因为这里有多达N个纽结,这意味N个自由度。然而,罚项转换成样条系数上的罚,它们向着线性拟合收缩。
解是自然样条，可以写成：
$$f(x)=\sum _{j=1}^N{N}_j(x){\theta }_j$$
其中，$N_j(x)$是表示该族自然样条的基函数的N维集合这样,准则归约成:
$$RSS(f,\lambda )=(y-N\theta {)}^T(y-N\theta )+\lambda {\theta }^T{\Omega }_N\theta$$
其中， N i j = N j ( x i ) , { Ω N } j k = ∫ N j ′ ′ ( t ) N k ′ ′ ( t ) d t 。 {N}_{ij}=N_j (x_i ),\left\{Ω_N \right\}_{jk}=∫N''_j (t) N''_k (t)dt。 Nij​=Nj​(xi​),{ΩN​}jk​=∫Nj′′​(t)Nk′′​(t)dt。
则解为
$$\hat{\theta }=(N^{T}N+\lambda {\Omega }_N{)}^{-1}{N}^{T}y$$
将$\hat{\theta }$代入，拟合的光滑样条由下式给出：
$$\hat{f}(x)=\sum _{j=1}^N{N}_j(x){\hat{\theta }}_j$$
具有预先选定λ的光滑样条是线性光滑子（与线性算子中一样)的一个例子。这是因为式$\hat{\theta }=(N^{T}N+\lambda {\Omega }_N{)}^{-1}{N}^{T}y$中估计的参数是$y_i$的线性组合。记训练预测子$x_i$上的拟合值$\hat{f}(x_i)$的N向量为$\hat{f}$则:
$$\hat{f}=N(N^{T}N+\lambda {\Omega }_N{)}^{-1}{N}^{T}y=S_{\lambda }y$$
拟合又是y上线性的,并且有限线性算子$S_{\lambda }$称作光滑子矩阵(smoother matrix)。这种线性性质的一个推论是f ̂由y产生并不依赖于y本身,$S_{\lambda }$仅依赖于$x_i$和λ。光滑样条的有效自由度定义为（$S_{\lambda }$的对角线元素之和）：
$$d{f}_{\lambda }=trace(S_{\lambda })$$
【自由度指的是自由参数的个数。尽管在有n个结点的情况下，光滑样条有 n个参数也就是n个自由度，但n个自由度被λ大量地限制或者收缩了，因此我们用有效自由度$d{f}_{\lambda }$来衡量光滑样条的光滑性。$d{f}_{\lambda }$越大说明样条越不光滑，即低偏倚高方差。】
λ的值允许从0增加到$\infty$，于是有效自由度$d{f}_{\lambda }$就从n降到2。
由于$S_{\lambda }$对称而且半正定，可以进行实特征值分解。

光滑参数的自动选择

回归样条的光滑参数包括样条的次数、纽结个数和位置。对于光滑样条,我们只有罚参数λ需要选择,因为纽结在所有训练X上，并且在实践中总是使用三次样条。
对于回归样条，除非强制进行某些简化，否则选择纽结的位置和个数可能是组合复杂的。
{（在岭回归中，λ≥0是控制收缩量的复杂度参数：$\lambda$值越大，收缩量越大。系数向0收缩（并相互收缩）。）
1.固定自由度
$d{f}_{\lambda }=trace(S_{\lambda })$在$\lambda$上是单调的，因此可以通过固定df来确定$\lambda$。这就有了一种传统的函数选择方法：试验多个不同的df值，并根据近似的F-检验、残差图或其他更主观的标准选择一个。以这种方法使用df提供了一种比较一些不同光滑方法的一致方法。
2.偏倚-方差权衡
平方预测误差EPE。