基展开

基展开

整理 PPT : Basis Expansions (by Yael Travis-Lumer)
参考 博客

介绍

线性模型 $f(x)= \beta_0+\beta_1X_1+...+\beta_pX_p$ 存在以下问题：在大多数情况下真实的模型不是线性的而且也不是可加的。于是我们可以使用非线性函数 $h_m(X)$ 来代替变量 $X$,于是模型可以定义为：

$$f(X)= \sum^M_{m=1}\beta_mh_m(X)$$
这种形式称为在 $X$ 上的线性基展开，$h_m(X)$ 可以称为基函数。这个模型在 $h_m(X)$ 是线性的，因此 $\beta$ 可以通过最小二乘法来求解。

$h_m(X)$ 有以下常见的形式：
* $X \in \mathbb{R^p} , h_m(X) = X_m , m=1,...,p$ 这种情况下，$h_m(X)$ 不对 $X$ 产生变换
* $X \in \mathbb{R}, h_m(X) = X_m ,$ 这种情况下，可以将 $X$ 变换高阶。

基函数也可以是针对 $X$ 的每个特征：

$$\begin{aligned} f(X) &= \sum^P _{p=1} f_p(X_p) \\ &= \sum^{P}_{p=1}\sum^M_{m=1} \beta_{pm} h_{pm}(X_p) \end{aligned}$$

可以使用以下方法来约束模型的复杂度:
* Restriction Method
* Selection Method
* Regularization Method

$$\\$$

不同类型的基展开

分段多项式和样条函数

样条函数(splines function)：一类分段光滑，并且在交接点处也有光滑性的函数。
分段多项式(Piecewise Polynomials)：
* 假设 $X \in \mathbb{R}$
* 将$X$ 的值域分成相连的区块
* 在每个区块中使用一个多项式来拟合$f(X)$

我们把这样的函数称为分段多项式函数。

例一

分成三个区域，以 $\xi_1和 \ \xi_2$ 为边界，也称为(knots)。

$$\left\{ \begin{aligned} h_1(X) & = I(X<\xi_1) \\ h_2(X) & = I(\xi_1 <X<\xi_2) \\ h_3(X) & = I(X>\xi_2) \\ \end{aligned} \right.$$
这个模型就可以写为:
$$f(X)=\sum^3_{m=1}\beta_mh_m(X)=\left\{ \begin{aligned} \beta_1 ,\ & X<\xi_1 \\ \beta_2 ,\ & \xi_1 < X < \xi_2\\ \beta_3 ,\ & X>\xi_2\\ \end{aligned} \right.$$

这个例子中，函数$f$是分段常函数，$\overrightarrow{\beta}$ 可以使用最小二乘法求解($\beta_m = \overline{Y_m}$)。

例二

在例一的基础上，添加三个函数：

$$\left\{ \begin{aligned} h_4(X) & = I(X<\xi_1)X \\ h_5(X) & = I(\xi_1 <X<\xi_2)X \\ h_6(X) & = I(X>\xi_2)X \\ \end{aligned} \right.$$

模型更新为，

$$f(X)=\sum^6_{m=1}\beta_mh_m(X)=\left\{ \begin{aligned} \beta_1+\beta_4X ,\ & X<\xi_1 \\ \beta_2 +\beta_5X ,\ & \xi_1 < X < \xi_2\\ \beta_3 +\beta_6X , \ & X>\xi_2\\ \end{aligned} \right.$$

这个例子中，函数$f$ 称为分段线性数，$\overrightarrow{\beta}$ 可以使用最小二乘求解。

以上例子存在一个问题：在knots处不连续。

解决方法

连续性约束(Continuity Restrictions)

为了保证在结点处函数连续，在每个节点处增加约束条件 $\forall \xi_i \ ,\ f(\xi^-)=f(\xi^+)$ 。一种直接的解法是使用包含连续性的基函数。在例二中，我们可以定义这样一组基函数

$$\left\{ \begin{aligned} h_1(X) & = 1 \\ h_2(X) & = X \\ h_3(X) & = (X-\xi_1)_+ \\ h_4(X) & = (X-\xi_2)_+ \\ \end{aligned} \right. , where (X-\xi_i)_+= \left\{ \begin{aligned} &0 \\ & X-\xi_i \\ \end{aligned} \right.$$

因此，$f(X)=\sum^4_{i=1}\beta_mh_m(X)$是连续的分段线性函数。

光滑(Smothness)

通常，例子中的拟合不够光滑，我们可以展开到更加高阶去拟合。

样条函数是使用多项式函数分段定义，并且在结点处光滑的函数，如果这个样条函数的在结点处连续且一阶和二阶导数都连续，就称为cubic spline。