统计学习（六）：非线性模型

非线性模型

多项式回归

$$y_i={\beta }_0+{\beta }_1{x}_i+{\beta }_2{x}_i^2+{\beta }_3{x}_i^3+\cdots +{\beta }_d{x}_i^d+{\epsilon }_i$$

假设阶数为4，则在 $x_0$ 处的拟合值为：
$$\hat{f}(x_0)={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0+{\hat{\beta }}_2{x}_0^2+{\hat{\beta }}_3{x}_0^3+{\hat{\beta }}_4{x}_0^4$$
最小二乘法可以得到每个系数 ${\hat{\beta }}_i$ 的方差估计以及每一对系数估计值之间的协方差，通过这些值可以计算得到 $\hat{f}(x_0)$ 的方差，这样 $\hat{f}(x_0)$ 的逐点标准误差就是其方差的平方根。在每一个点计算相应位置的标准误差，然后画出拟合值曲线以及距拟合值曲线的两倍标准误差的曲线：$\hat{f}(x_0)\pm 2\cdot se[\hat{f}(x_0)]$。

可以将d固定在一些合理的低值，也可以通过交叉验证来选择d。

阶梯函数

把 $X$ 的取值范围分成一些区间，每个区间拟合一个不同的常数。

具体的，在 $X$ 取值空间上创建分割点 $c_1,c_2,\cdots ,c_K$，然后构造 $K+1$ 个新变量：
$$\begin{gathered} C_0(X)=I(X<c_1) \\ {C}_1(X)=I(c_1\le X<c_2) \\ {C}_2(X)=I(c_2\le X<c_3) \\ ⋮ \\ {C}_{K-1}(X)=I(c_{K-1}\le X<c_K) \\ {C}_K(X)=I(c_K\le X) \end{gathered}$$
其中 $I(\cdot )$ 是示性函数，条件成立时返回1否则返回0。由于 $X$ 只能落在 $K+1$ 个区间中的某一个，于是对于任意的 $X$ 的取值，$C_0(X)+C_1(X)+\cdots +C_K(X)=1$。以 $C_0(X),C_1(X),\cdots ,C_K(X)$ 为预测变量用最小二乘法来拟合线性模型：
$$y_i={\beta }_0+{\beta }_1{C}_1(x_i)+{\beta }_2{C}_2(x_i)+\cdots +{\beta }_K{C}_K(x_i)+{\epsilon }_i$$
对于 $X$ 的一个给定值， $C_1(X),C_2(X),\cdots ,C_K(X)$ 中至多只有一项系数非零。当 $X<c_1$ 时，${\beta }_0$ 即为 $X<c_1$ 时的 $Y$ 的平均值。当 $c_j<X<c_{j+1}$ 时，预测值为 ${\beta }_0+{\beta }_j$，${\beta }_j$ 可被解释为当 $X$ 由 $X<c_1$ 增至 $c_j<X<c_{j+1}$ 时响应变量的平均增量。

是一种构造易于解释的交互项的有用方法。

基函数

多项式和阶梯函数回归模型实际上是特殊的基函数方法，以模型
$$y_i={\beta }_0+{\beta }_1{b}_1(x_i)+{\beta }_2{b}_2(x_i)+\cdots +{\beta }_K{b}_K(x_i)+{\epsilon }_i$$
来替代线性模型。

例如：对于多项式回归，基函数就是 $b_j(x_i)=x_i^j$，而对于阶梯函数，其基函数为 $b_j(x_i)=I(c_j\le x_i<c_{j+1})$。

回归样条

分段多项式

分段多项式回归在 $X$ 的不同区域拟合独立的低阶多项式函数。例如，分段三次多项式函数在 $X$ 的不同区域拟合形式如下的模型，只有一个结点 $c$：
$$y_i=\{\begin{array}{l}{\beta }_{01}+{\beta }_{11}{x}_i+{\beta }_{21}{x}_i^2+{\beta }_{31}{x}_i^3+{\epsilon }_i,x_i<c\\ {\beta }_{02}+{\beta }_{12}{x}_i+{\beta }_{22}{x}_i^2+{\beta }_{32}{x}_i^3+{\epsilon }_i,x_i\ge c\end{array}$$
最好要添加确保拟合曲线是连续的约束条件来拟合分段多项式，即在结点不能有跳跃。

d阶样条的一般定义是分段d阶多项式，同时在每个结点直到d-1阶导数都是连续的。

样条基函数

一个有 $K$ 个结点的三次样条函数可以表示成：
$$y_i={\beta }_0+{\beta }_1{b}_1(x_i)+{\beta }_2{b}_2(x_i)+\cdots +{\beta }_{K+3}{b}_{K+3}(x_i)+{\epsilon }_i$$
最直接的是先以三次多项式的基为基础，即 $x,x^2,x^3$，然后在每一个结点添加一个截断幂基（truncated power basis） 函数，结点为 ${\xi }_k$：
$$\begin{gathered} b_1(x_i)=x_i \\ {b}_2(x_i)=x_i^2 \\ {b}_3(x_i)=x_i^3 \\ {b}_{k+3}(x_i)=h(x,{\xi }_k)=(x-{\xi }_k{)}_{+}^3=\{\begin{array}{l}(x-{\xi }_k{)}^3,x>{\xi }_K\\ 0,otherwise\end{array},k=1,\cdots ,K \end{gathered}$$
例：有一个结点：
$$y_i={\beta }_0+{\beta }_1{x}_i+{\beta }_2{x}_i^2+{\beta }_3{x}_i^3+{\beta }_{4}h(x,\xi )$$
可以证明上述三次多项式在 $\xi$ 处的三阶导数不连续，但函数本身、一阶导数、二阶导数都连续。

为了对数据集拟合有 $K$ 个结点的三次样条，只需针对截距项和 $3+K$ 个预测项，即 $X,X^2,X^3,h(X,{\xi }_1),h(X,{\xi }_2),\cdots ,h(X,{\xi }_K)$ 运用最小二乘回归，共需估计 $K+4$ 个系数，因此拟合三次样条需要 $K+4$ 个自由度。

不过，样条在预测变量之外的区域，即 $X$ 取较大值或较小值时，有较大方差。

自然样条（Natural Splines） 是附加了边界约束的回归样条：函数在边界区域应该是线性的，这里的边界区域指的是 $X$ 的值比最小的结点处的值小或比最大的结点处的值大。这一附加条件使自然样条的估计在边界处更稳定（置信区间更窄）。

确定结点的个数和位置

一种方法是尝试多个不同的结点个数，然后从中选择拟合的“形状最理想”的曲线。另一种方法是交叉验证，对不同的结点数目 $K$ 不断重复，选择 $RSS$ 最小的样条函数对应的 $K$。

一个具有 $K$ 个结点的三次样条有 $K+4$ 个参数或自由度。

一个具有 $K$ 个结点的自然样条有 $K$ 个自由度。

回归样条与多项式回归对比：多项式函数附加的自由度使其在边界处的估计不足，而自然三次样条拟合较为合理。

光滑样条

简介

一个很自然的方法是最小化：
$$\sum _{i=1}^n(y_i-g(x_i){)}^2+\lambda \int g^{\prime \prime }(t{)}^{2}dt$$
第一项是 $RSS$，第二项是粗糙度惩罚项，$\lambda$ 是一个非负的调节参数。

$\int g^{\prime \prime }(t{)}^{2}dt$ 衡量的是函数 $g^{\prime }(t)$ 在整个取值区域内整体的变化情况。如果 $g$ 非常光滑，那么 $g^{\prime }(t)$ 接近于常数，$\int g^{\prime \prime }(t{)}^{2}dt$ 就会取较小的值。相反，如果 $g$ 的跳跃性大，那么 $g^{\prime }(t)$ 就变动非常大，$\int g^{\prime \prime }(t{)}^{2}dt$ 就倾向于取较大的值。

$\lambda$ 的值越大，函数 $g$ 越光滑。$\lambda =0$ 时，惩罚项不起作用，$\lambda \to \infty$ 时，$g$ 会变得非常平稳，实际是条最小二乘直线。

选择光滑参数

调节参数 $\lambda$ 控制光滑样条的粗糙度，也控制着有效自由度（effective degrees of freedom），$\lambda$ 的值允许从0增加到 $\infty$，这样实际的自由度（$d{f}_{\lambda }$）就从 $n$ 降至2。

有效自由度：令
$${\hat{g}}_{\lambda }=S_{\lambda }y$$
其中 ${\hat{g}}_{\lambda }$ 是使 ${\sum }_{i=1}^n(y_i-g(x_i){)}^2+\lambda \int g^{\prime \prime }(t{)}^{2}dt$ 最小化的对于一个特定的 $\lambda$ 的解，${\hat{g}}_{\lambda }$ 是一个 $n$ 维向量，其元素是训练集 $x_1,x_2,\cdots ,x_n$ 对应的光滑样条的拟合值。$S_{\lambda }$ 是一个 $n\times n$ 的矩阵，$y$ 是响应变量。于是，有效自由度的定义就是：
d f λ = ∑ i = 1 n { S λ } i i df_{\lambda}=\sum_{i=1}^n\{S_{\lambda}\}_{ii} dfλ​=i=1∑n​{Sλ​}ii​
有效自由度为矩阵 $S_{\lambda }$ 的对角元素之和。

如何确定 $\lambda$：选择能够使得交叉验证的 $RSS$ 尽量小的 $\lambda$ 。利用下式，可以有效地计算光滑样条的留一交叉验证误差（LOOCV）：
R S S c v ( λ ) = ∑ i = 1 n ( y i − g ^ λ ( − i ) ( x i ) ) 2 = ∑ i = 1 n [ y i − g ^ λ ( x i ) 1 − { S λ } i i ] 2 RSS_{cv}(\lambda)=\sum_{i=1}^n(y_i-\hat g_{\lambda}^{(-i)}(x_i))^2=\sum_{i=1}^n[\frac{y_i-\hat g_{\lambda}(x_i)}{1-\{S_{\lambda}\}_{ii}}]^2 RSScv​(λ)=i=1∑n​(yi​−g^​λ(−i)​(xi​))2=i=1∑n​[1−{Sλ​}ii​yi​−g^​λ​(xi​)​]2
其中 ${\hat{g}}_{\lambda }^{(-i)}(x_i)$ 指的是光滑样条在 $x_i$ 处的拟合值，其计算过程使用的是剔除观测点 $(x_i,y_i)$ 外的所有训练观测。相反的，${\hat{g}}_{\lambda }(x_i)$ 指的是光滑样条用所有的训练数据集拟合的结果。

局部回归

在对一个目标观测点 $x_0$ 拟合时，该方法只用到这个点附近的训练观测。

算法：在 $X=x_0$ 处的局部回归模型：

1. 选取占所有数据 $s=k/n$ 比例的最靠近 $x_0$ 的数据 $x_i$。

2. 对选出的数据点赋予其权重 $K_{i0}=K(x_i,x_0)$。离 $x_0$ 最远的点的权重为0，而最近的点权重最高。那些没有被选中的数据点的权重为0。

3. 用定义好的权重在 $x_i$ 处拟合加权最小二乘，也就是对下式最小化：
   $$\sum _{i=1}^n{K}_{i0}(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

4. 根据 $\hat{f}(x_0)={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$ 得到 $x_0$ 的拟合结果。

选择较小的s相当于使用局部观测建模，拟合的效果会剧烈起伏。相反，当s很大时相当于使用所有的观测数据做一个全局的拟合，较光滑。可以用交叉验证来选择s，或直接给定。

广义可加模型

用于回归问题的GAM

为使模型的响应变量和预测变量之间具有非线性关系，对多元线性回归模型：
$$y_i={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip}+{\epsilon }_i$$
一种方法是用一个光滑的非线性函数 $f_j(x_{ij})$ 替代 ${\beta }_j{x}_{ij}$：
$$y_i={\beta }_0+\sum _{j=1}^p{f}_j(x_{ij})+{\epsilon }_i={\beta }_0+f_1(x_{i1})+f_2(x_{i2})+\cdots +f_p(x_{ip})+{\epsilon }_i$$
GAM的优点和局限性：

1. GAM模型可以允许对每一个 $X_j$ 都拟合一个非线性 $f_j$，这样就可自动地对被标准的线性回归模型所忽略的非线性关系进行建模。这意味着不需要手动地尝试去为每一个变量设置许多不同的变形方式。
2. 非线性拟合模型能将响应变量预测得更为精准。
3. 由于模型是可加的，所以还是能在保持其他变量不变的情况下看每个变量 $X_j$ 对 $Y$ 单独的影响效果。
4. 针对变量 $X_j$ 的函数 $f_j$ 的光滑性也能通过对自由度的分析得到。
5. GAM模型的主要局限在于模型的形式被限定为可加形式。在多变量的情况下，这类模型通常会忽略有意义的交互项。不过也可以通过增加形式为 $X_j\times X_k$ 的交互项使得GAM也能够表达交互效应，也可以增加形式为 $f_{jk}(X_j,X_k)$ 的低维交互项，这样的交互项可以应用一些二维光滑方法如局部回归或者二维样条来拟合。

用于分类问题的GAM

令 $p(X)=Pr(Y=1|X)$ 是给定预测变量值时响应变量为1的条件概率：
$$\log (\frac{p(X)}{1-p(X)})={\beta }_0+f_1(X_1)+f_2(X_2)+\cdots +f_p(X_p)$$