统计学习（六）：非线性模型

非线性模型

多项式回归

$$y_i={\beta }_0+{\beta }_1{x}_i+{\beta }_2{x}_i^2+{\beta }_3{x}_i^3+\cdots +{\beta }_d{x}_i^d+{\epsilon }_i$$

假设阶数为4，则在 $x_0$ 处的拟合值为：
$$\hat{f}(x_0)={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0+{\hat{\beta }}_2{x}_0^2+{\hat{\beta }}_3{x}_0^3+{\hat{\beta }}_4{x}_0^4$$
最小二乘法可以得到每个系数 ${\hat{\beta }}_i$ 的方差估计以及每一对系数估计值之间的协方差，通过这些值可以计算得到 $\hat{f}(x_0)$ 的方差，这样 $\hat{f}(x_0)$ 的逐点标准误差就是其方差的平方根。在每一个点计算相应位置的标准误差，然后画出拟合值曲线以及距拟合值曲线的两倍标准误差的曲线：$\hat{f}(x_0)\pm 2\cdot se[\hat{f}(x_0)]$。

可以将d固定在一些合理的低值，也可以通过交叉验证来选择d。

阶梯函数

把 $X$ 的取值范围分成一些区间，每个区间拟合一个不同的常数。

具体的，在 $X$ 取值空间上创建分割点 $c_1,c_2,\cdots ,c_K$，然后构造 $K+1$ 个新变量：
$$\begin{gathered} C_0(X)=I(X<c_1) \\ {C}_1(X)=I(c_1\le X<c_2) \\ {C}_2(X)=I(c_2\le X<c_3) \\ ⋮ \\ {C}_{K-1}(X)=I(c_{K-1}\le X<c_K) \\ {C}_K(X)=I(c_K\le X) \end{gathered}$$
其中 $I(\cdot )$ 是示性函数，条件成立时返回1否则返回0。由于 $X$ 只能落在 $K+1$ 个区间中的某一个，于是对于任意的 $X$ 的取值，$C_0(X)+C_1(X)+\cdots +C_K(X)=1$。以 $C_0(X),C_1(X),\cdots ,C_K(X)$ 为预测变量用最小二乘法来拟合线性模型：
y i = β 0 + β 1 C 1 ( x i ) + β 2 C 2 ( x i ) + ⋯ + β K C K ( x i