广义加性模型和树模型

广义加性模型

传统线性模型所面临的问题：
在现实生活中，变量的作用通常不是线性的。

广义加性模型是一种自由灵活的统计模型，它可以用来探测到非线性回归的影响。模型如下：

$$E(Y|X_1,...,X_p)=\alpha+f_1(X_1)+f_2(X_2)+...+f_p(X_p)$$

$X_1,...,X_p$ 是预测器(predictor)，其实就是自变量；
$Y$是输出；
$f_j$ 是非参数函数；
$\alpha和f_j()是要估计的$；

直观的理解就是，模型放松了对$X$是线性的要求，可以对每个自变量进行非线性的变换。

树模型

感觉ESL里的树模型和决策树的思想类似。

二者都是根据自变量$X$来对原始输入空间进行划分。然后使用相应的函数来检测划分子集的纯度怎么样，一次来判断划分的好坏。

《统计学习方法》里说可以将决策树看作是 $if-then$ 规则，每条路径构建一条判别规则。任意一个实例都被且仅被一条路径覆盖。

ESL中损失函数定义为：

$$C_\alpha(T)=\sum^{|T|}_{m=1}N_mQ_m(T)+\alpha|T|$$

$T$ 代表树模型，$|T|$ 代表叶子的个数；
$N_m$ 代表第$m$个叶子中的实例个数；
$\hat{c}_m=\frac{1}{N_m}\sum_{x_i\in R_m}y_i$；
$Q_m(T)=\frac{1}{N_m}\sum_{x_ \in R_m}(y_i-\hat c_m)^2$ ；
$\alpha|T|$ 是用来做剪枝，控制复杂度用的；

小插曲：
前面的文章曾经介绍过分段多项式：

我感觉这个图可以看成是只有一个连续属性的决策树，即$X\in\mathbb{R}$。这里对划分结点的选择是一个值得探讨的问题。这个问题在 $knots$选择里应该有涉及。

决策树又可分为回归和分类两类，区别在于选取划分点和划分自变量上。对于回归可以使用：

$$min_{j,s}[min_{c_1}\sum_{x_i\in R_1(j,s)}(y_i-c_1)^2+min_{c_2}\sum_{x_i\in R_2(j,s)}(y_i-c_2)^2]$$

$j$ 是划分变量；
$s$ 是划分点；

分类问题可以使用信息增益，基尼指数，增益率等等来做。

参考文章: ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十二）