补充：基展开与核方法

基展开与核方法

基展开

线性的回归：
$$y=\mathbf{X}\mathbf{\beta }+\epsilon ,\epsilon \sim (0,{\sigma }^2)$$
“光滑回归”：
$$\begin{gathered} y=f(X)+\epsilon \\ f(X)=E(y|X) \end{gathered}$$
记 $h_m(X)$ 为 $X$ 的第m个变换，$m=1,\cdots ,M$，然后建立 $X$ 的线性基展开（linear basis expansion） 模型：
$$f(X)=\sum _{m=1}^M{\beta }_m{h}_m(X)$$
例如：
$$\begin{gathered} f(X)={\beta }_0+{\beta }_{1}X+{\beta }_2{X}^2 \\ f(x)={\beta }_0+{\beta }_1\sin (X)+{\beta }_2\cos (X) \end{gathered}$$

分段多项式和样条

分段常数基函数：
$$h_1(X)=I(X<{\xi }_1),h_2(X)=I({\xi }_1\le X<{\xi }_2),h_3(X)=I({\xi }_2\le X)$$
按局部平均值进行拟合。

结合约束条件的分段线性基函数：
$$h_1(X)=1,h_2(X)=X,h_3(X)=(X-{\xi }_1{)}_{+},h_4(X)=(X-{\xi }_2{)}_{+}$$
分段三次样条多项式拟合基函数：
$$h_1(X),h_2(X)=X,h_3(X)=X^2,h_4(X)=X^3,h_5(X)=(X-{\xi }_1{)}_{+}^3,h_6(X)=(X-{\xi }_2{)}_{+}^3$$

光滑样条

要极小化罚残差的平方和：
R S S ( f , λ ) = ∑ i = 1 N { y i − f ( x i ) } 2 + λ ∫ { f ′ ′ ( t ) } 2 d t RSS(f,\lambda)=\sum_{i=1}^N\{y_i-f(x_i)\}^2+\lambda\int\{f''(t)\}^2dt RSS(f,λ)=i=1∑N​{yi​−f(xi​)}2+λ∫{f′′(t)}2dt
由于解是自然样条，可以写成：
$$f(x)=\sum _{j=1}^N{N}_j(x){\theta }_j$$
$N_j(x)$ 是表示该族自然样条的基函数的 $N$ 维集合。
$$RSS(\theta ,\lambda )=(\mathbf{y}-\mathbf{N}\mathbf{\theta }{)}^T(\mathbf{y}-\mathbf{N}\theta )+\lambda {\mathbf{\theta }}^T{\mathbf{\Omega }}_N\mathbf{\theta }$$
其中 { N i j } = N j ( x i ) , { Ω N } j k = ∫ N j ′ ′ ( t ) N k ′ ′ ( t ) d t \{\boldsymbol N_{ij}\}=N_j(x_i),\{\boldsymbol \Omega_N\}_{jk}=\int N''_j(t)N''_k(t)dt {Nij​}=Nj​(xi​),{ΩN​}jk​=∫Nj′′​(t)Nk′′​(t)dt，上述式子均为矩阵形式。容易得到最优解为（即使得RSS最小）：
$$\begin{gathered} \hat{\mathbf{\theta }}=({\mathbf{N}}^T\mathbf{N}+\lambda {\mathbf{\Omega }}_N{)}^{-1}{\mathbf{N}}^T\mathbf{y} \\ \hat{f}(x)=\sum _{j=1}^N{N}_j(x){\hat{\theta }}_j \end{gathered}$$

自由度和光滑矩阵

记训练预测子 $x_i$ 上的拟合值 $\hat{f}(x_i)$ 的 $N$ 向量为 $\hat{\mathbf{f}}$，则
$$\hat{\mathbf{f}}=\mathbf{N}({\mathbf{N}}^T\mathbf{N}+\lambda {\mathbf{\Omega }}_N{)}^{-1}{\mathbf{N}}^T\mathbf{y}={\mathbf{S}}_{\mathbf{\lambda }}\mathbf{y}$$
有限线性算子 ${\mathbf{S}}_{\mathbf{\lambda }}$ 称为光滑子矩阵，其仅依赖于 $x_i$ 和 $\lambda$。

定义光滑样条的有效自由度为（effective degrees of freedom ，EDF）：
$$d{f}_{\lambda }=trace({\mathbf{S}}_{\mathbf{\lambda }})$$
即为 ${\mathbf{S}}_{\mathbf{\lambda }}$ 的对角线元素之和。

${\mathbf{S}}_{\mathbf{\lambda }}$ 是对称的和半正定的。

多维样条函数

假定 $X\in {\mathbf{N}}^2$ ，有表示坐标 $X_1$ 的函数基 $h_{1k}(X_1),k=1,\cdots ,M_1$，有表示坐标 $X_2$ 的函数基 $h_{2k}(X_2),k=1,\cdots ,M_2$，则由
$$g_{jk}(X)=h_{1j}(X_1)h_{2k}(X_2),j=1,\cdots ,M_1$$
定义的 $M_1\times M_2$ 维张量积基可以用来表示二维函数：
$$g(X)=\sum _{j=1}^{M_1}\sum _{k=1}^{M_2}{\theta }_{jk}{g}_{jk}(X)$$
此时建立问题：
min ⁡ f ∑ i = 1 N { y i − f ( x i ) } 2 + λ J [ f ] \min_f\sum_{i=1}^N\{y_i-f(x_i)\}^2+\lambda J[f] fmin​i=1∑N​{yi​−f(xi​)}2+λJ[f]
$J$ 是稳定 ${\mathbf{R}}^d$ 上函数 $f$ 的罚泛函。例如，对于 ${\mathbf{R}}^2$ 上的函数：
$$J[f]=\int {\int }_{{\mathbf{R}}^2}[(\frac{{\partial }^{2}f(x)}{\partial x_1^2}{)}^2+2(\frac{{\partial }^{2}f(x)}{\partial x_1\partial x_2})+(\frac{{\partial }^{2}f(x)}{\partial x_2^2}{)}^2]d{x}_{1}d{x}_2$$
解形如：
$$\begin{gathered} f(x)={\beta }_0+{\mathbf{\beta }}^T\mathbf{x}+\sum _{j=1}^N{\alpha }_j{h}_j(x) \\ {h}_j(x)=\eta (||x-x_j||) \\ \eta (z)=z^2\log z^2 \end{gathered}$$
$h_j$ 是径向基函数（radial basis functions）。

核方法

模型与数据：
$$\begin{gathered} E(Y|x)=f(x) \\ {y}_i=f(x_i)+{\epsilon }_i \\ f(x_0)=E(Y|x_0) \end{gathered}$$
将k-最近邻平均：
$$\hat{f}(x)=Ave(y_i|x_i\in N_k(x))$$
作为回归函数 $E(Y|X=x)$ 的估计，这里 $N_k(x)$ 是平方距离最邻近 $x$ 的k个点的集合，Ave表示取平均值。

使用Nadaraya-Watson的核加权平均：
$$\begin{gathered} \hat{f}(x_0)=\frac{{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)y_i}{{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)} \\ {K}_{\lambda }(x_0,x)=D(\frac{|x-x_0|}{\lambda })更一般的，K_{\lambda }(x_0,x)=D(\frac{|x-x_0|}{h_{\lambda }(x_0)}) \end{gathered}$$
选择核：
$$\begin{gathered} Epanichakov:D(t)=\{\begin{array}{l}\frac{3}{4}(1-t^2),|t|\le 1\\ 0,其他\end{array} \\ tri-cube:D(t)=\{\begin{array}{l}(1-|t{|}^3{)}^3,|t|\le 1\\ 0,其他\end{array} \\ Gaussian:D(t)=\varphi (t)=\frac{1}{\sqrt{2\pi }}\exp (-t^2/2) \end{gathered}$$

局部线性回归

在每个目标点 $x_0$ 解一个单独的加权最小二乘方问题：
$$\underset{\alpha (x_0),\beta (x_0)}{\min }\sum _{i=1}^N{K}_{\lambda }(x_0,x_i)[y_i-\alpha (x_0)-\beta (x_0)x_i{]}^2$$
估计则是：
$$\hat{f}(x_0)=\hat{\alpha }(x_0)+\hat{\beta }(x_0)x_0$$
定义向量值函数 $b(x{)}^T=(1,x)$。设 $\mathbf{B}$ 是 $N\times 2$ 回归矩阵，第 $i$ 行为 $b(x_i{)}^T$，$\mathbf{W}(x_0)$ 是 $N\times N$ 对角矩阵，第 $i$ 个对角线元素为 ${\mathbf{K}}_{\lambda }(x_0,x_i)$，即：
$$\begin{gathered} \mathbf{X}=\left[\begin{array}{cc}1& x_1\\ 1& x_2\\ ⋮& ⋮\\ 1& x_N\end{array}\right]=\mathbf{B} \\ \mathbf{W}(x_0{)}_{ii}={\mathbf{K}}_{\lambda }(x_0,x_i),W(x_0{)}_{ij}=0,i\ne j \end{gathered}$$
则有：
$$\begin{gathered} \hat{f}(x_0)=b(x_0{)}^T({\mathbf{B}}^T\mathbf{W}(x_0)\mathbf{B}{)}^{-1}{\mathbf{B}}^T\mathbf{W}(x_0)\mathbf{y}=\sum _{i=1}^N{l}_i(x_0)y_i \\ E\hat{f}(x_0)=\sum _{i=1}^N{l}_i(x_0)f(x_i)=f(x_0)\sum _{i=1}^N{l}_i(x_0)+f^{\prime }(x_0)\sum _{i=1}^N(x_i-x_0)l_i(x_0)+\frac{f^{\prime \prime }(x_0)}{2}\sum _{i=1}^N(x_i-x_0{)}^2{l}_i(x_0)+R \end{gathered}$$
余项 $R$ 涉及 $f$ 的三阶或更高阶导数。且有：
$$\sum _{i=1}^N{l}_i(x_0)=1,\sum _{i=1}^N(x_i-x_0)l_i(x_0)=0$$
上上式仅依赖于 $f$ 的展开式中的二次或更高次项。

核方法分类

假定有从概率密度 $f_X(x)$ 提取的随机样本 $x_1,\cdots ,x_N$，估计 $x_0$ 上的 $f_X$，$X\in \mathbf{R}$，一种自然的局部估计具有如下形式：
f ^ X ( x 0 ) = # { x i ∈ N λ ( x 0 ) } N λ \hat f_X(x_0)=\frac{\#\{x_i\in N_\lambda(x_0)\}}{N\lambda} f^​X​(x0​)=Nλ#{xi​∈Nλ​(x0​)}​
$N_{\lambda }(x_0)$ 是 $x_0$ 周围宽度为 $\lambda$ 的较小度量邻域。

光滑的Parzen估计：
$${\hat{f}}_X(x_0)=\frac{1}{N\lambda }\sum _{i=1}^N{K}_{\lambda }(x_0,x_i)$$
设 ${\varphi }_{\lambda }$ 表示具有均值0和标准差 $\lambda$ 的高斯密度，则上式有如下形式：
f ^ X ( x 0 ) = 1 N ∑ i = 1 N ϕ λ ( x 0 − x i ) = ( F ^ ⋆ ϕ λ ) ( x 0 ) F ^ ( x ) = 1 N ∑ i = 1 N I { x i ≤ x } \hat f_X(x_0)=\frac{1}{N}\sum_{i=1}^N\phi_\lambda(x_0-x_i)=(\hat F\star\phi_\lambda)(x_0)\\\hat F(x)=\frac{1}{N}\sum_{i=1}^NI\{x_i\leq x\} f^​X​(x0​)=N1​i=1∑N​ϕλ​(x0​−xi​)=(F^⋆ϕλ​)(x0​)F^(x)=N1​i=1∑N​I{xi​≤x}
这是样本经验分布 $\hat{F}$ 与 ${\varphi }_{\lambda }$ 的卷积。

假定对于 $J$ 类问题，分别在每个类上拟合非参数密度估计 ${\hat{f}}_j(X),j=1,\cdots ,J$，并且还有每个类的先验 ${\hat{\pi }}_j$ 的估计，则
$$\begin{gathered} Pr(Y=j|X=x_0)=\frac{{\hat{\pi }}_j{\hat{f}}_j(x_0)}{{\sum }_{k=1}^J{\hat{\pi }}_k{\hat{f}}_k(x_0)} \\ {\hat{f}}_j(x)=\prod _{k=1}^p{\hat{f}}_{jk}(x_k) \end{gathered}$$