统计学习导论（七）非线性模型——学习笔记

1. 多项式回归 Polynomial Regression

对线性模型的推广：以预测变量的幂作为新的预测变量来代替原始变量。
将标准线性模型$y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i$换成一个多项式函数
$$y_i={\beta }_0+{\beta }_1{x}_i+{\beta }_2{x}_i^2+{\beta }_3{x}_i^3+\dots +{\beta }_d{x}_i^d+{ϵ}_i$$
对于阶数d较大的模型，多项式回归将呈现明显的非线性曲线。
多项式回归本质上可视为标准线性模型，可以用最小二乘回归的方法求解，d不宜过大（＜3、4）。d过大，多项式曲线就会越光滑甚至在X变量定义域的边界外呈现异样的形状。

2. 阶梯函数 Step Functions

“其拟合是将某个预测变量的取值空间切割成K个不同区域，以此来生成一个新的定性变量，分段拟合一个常量函数。”
在线性模型中使用特征变量的多项式形式作为预测变量得到了在X取值空间全局都非线性的拟合函数。如果不希望得到全局的模型，可以使用阶梯函数拟合。
把X的取值范围分成一些区间，每个区间拟合一个不同的常数。相当于将一个连续变量转换成一个有序的分类变量。
具体过程：
首先在X取值空间上创建分割点c1, c2, …, ck，然后构造K+1个新变量如下：
$$\begin{array}{rlr}& C_0(X)=I\left(X<c_1\right)& \\ & C_1(X)=I\left(c_1\le X<c_2\right),& \\ & C_2(X)=I\left(c_2\le X<c_3\right),& \\ & & ⋮\\ & C_{K-1}(X)=I\left(c_{K-1}\le X<c_K\right),& \\ & C_K(X)=I\left(c_K\le X\right)& \end{array}$$
其中$I(.)$为示性函数，当条件成立时返回1否则返回0。X只能落在K+1个区间中的某一个，对任意X的取值，有$C_0(X)+C_1(X)+\dots +C_K(X)=1$。
以$C_0(X),C_1(X),\dots ,C_K(X)$为预测变量用最小二乘法来拟合线性模型：
$$y_i={\beta }_0+{\beta }_1{C}_1\left(x_i\right)+{\beta }_2{C}_2\left(x_i\right)+\dots +{\beta }_K{C}_K\left(x_i\right)+{ϵ}_i$$
对于X的一个给定值，$C_0(X),C_1(X),\dots ,C_K(X)$中至多只有一项系数非零。当$X<c_1$时，每个预测变量都为0，所以${\beta }_0$为$X<c_1$时的Y的平均值。当$c_j\le X<c_{j+1}$时，预测值为${\beta }_0+{\beta }_j$，${\beta }_j$可以解释为当$X$由$X<c_1$增至$c_j\le X<c_{j+1}$时，响应变量的平均增量。

如果预测变量本身不具有明显的分割点，用分段固定值拟合不太合适。

多项式和阶梯函数回归模型实际上是特殊的基函数方法。基本原理是对变量X的函数或变换$b_1(X),b_2(X),\dots ,b_K(X)$进行建模。用模型$y_i={\beta }_0+{\beta }_1{b}_1\left(x_i\right)+{\beta }_2{b}_2\left(x_i\right)+{\beta }_3{b}_3\left(x_i\right)+\dots +{\beta }_K{b}_K\left(x_i\right)+{ϵ}_i$替代线性模型。

可以看做以$b_1\left(x_i\right),b_2\left(x_i\right),\dots ,b_K\left(x_i\right)$为预测变量的标准线性模型，可以使用最小二乘估计。

基函数$b_1(\cdot ),b_2(\cdot ),\dots ,b_K(\cdot )$的值是给定的（已知的），即在建模之前就选定了基函数的形式。多项式的基函数就是$b_j\left(x_i\right)=$