学习笔记《统计学习基础》第五章 基展开与正则化

5.1 引言

线性模型 $\{\begin{array}{l}线性回归\\ 线性判别分析\\ 逻辑斯蒂回归\\ 分离超平面\end{array}$
真实函数$f(X)$是$X$的线性函数的情况非常罕见。

①对于回归问题
通常$f(X)=E(Y|X)$在$X$上是非线性和非可加的，而用一个线性模型表示会很方便，因为线性模型容易解释，并且是$f(X)$的一阶泰勒近似。
当$N$很小或$p$很大时，线性模型可能是不会过分拟合的唯一模型。
②对于分类问题
线性的贝叶斯最佳判定边界蕴含$Pr(Y=1|X)$的某个单调变换在$X$上是线性的。

本章的核心思想是用附加的变量（$X$的变换）增广或替换输入向量$X$，然后在新的导出的输入特征空间上使用线性模型。

记$h_m(X):{\mathbb{R}}^p\mapsto \mathbb{R}$为$X$的第$m$个变换
$m=1,2,...,M$。然后，建立$X$的线性基展开模型:
$f(X)={\sum }_{m=1}^M{\beta }_m{h}_m(X)$

优点是：一旦确定了基函数$h_m$, 则模型在这些新变量上是线性的，并且拟合过程和以前一样。

一些简单但广泛使用的$h_m$的例子：
$\bullet h_m(X)=X_m,m=1,2,...p$
$\bullet h_m(X)=X_j^{2}or{X}_j{X}_k$, 得到高阶泰勒展开式
$\bullet h_m(X)=log(X_j),\sqrt{X_j},||X||,...$
$\bullet h_m(X)=I(L_m\le X_k<U_m),X_k$ 的区间指示子

限制模型复杂度的三种常用方法：
$\bullet$限制法
$\bullet$选择法
$\bullet$正则化法

5.2 分段多项式和样条

①分段常数
$h_1(X)=I(X<{\xi }_1)$
$h_2(X)=I({\xi }_1\le X<{\xi }_2)$
$h_3(X)=I(X\ge {\xi }_2)$
$model:f(X)={\sum }_{m=1}^3{\beta }_m{h}_m(X)$
要通过$Y$来估计${\beta }_1,{\beta }_2,{\beta }_3$
用最小二乘法，可得${\hat{\beta }}_m={\bar{Y}}_m$, 表示$Y$在第$m$个区间上的均值

②分段线性拟合
$h_{m+3}(X)=h_m(X)X,m=1,2,3$
$f({\xi }_1^{-})=f({\xi }_1^{+})$
${\beta }_1+{\beta }_4{\xi }_1={\beta }_2+{\beta }_5{\xi }_1$

③结合约束的基函数
没看懂

通常，我们偏爱光滑一些的函数（至少肉眼看上去纽结处是光滑的），这可以通过提高局部多项式的次数来实现。

三次样条$(cubic$ $spline)$，在纽结上具有连续的一、二阶导数

快速检查证实参数计数（没看懂）

纽结固定的样条又称为回归样条($regression$ $spline$)，需要选定样条的次数、纽结数和它们的布局。
一种简单的方法是：没看懂

5.2.1 自然三次样条

5.2.2 例：南非心脏病(续)

5.2.3 例：音素识别