树回归、线性回归、Logitic回归

树回归

分类与回归树（classification and regression tree，CART）即可用于分类也可以用于回归，由特征选择、树的生成及剪枝组成，一般简称为决策树。

CART生成

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数（Gini index）最小化准则，进行特征选择，生成二叉树。

回归树的生成

回归树用平方误差最小化准则，所以又称它为最小二乘回归树。
最小二乘回归树生成算法
输入：训练数据集$D$；
输出：回归树$f(x)$。
在训练数据集所在的输入空间，递归将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树；
（1）选择最优切分变量$j$与切分点$s$，求解：
$$\begin{array}{l}{\min }_{j,s}\left[{\sum }_{x_i\in R_1(j,s)}(y_i-c_1{)}^2+{\sum }_{x_i\in R_2(j,s)}(y_i-c_2{)}^2\right]\text{(5.12)}\\ c_1=ave(y_i|x_i\in R_1(j,s))\\ c_2=ave(y_i|x_i\in R_2(j,s))\end{array}$$遍历变量$j$，对固定的切分变量$j$扫描切分点$s$，选择使式(5.21)达到最小值得对$(j,s)$。
（2）用选定的对$(j,s)$划分区域并决定相应的输出值
R 1 ( j , s ) = { x ∣ x ( j ) ⩽ s } R 2 ( j , s ) = { x ∣ x ( j ) > s } c ^ m = 1 N m ∑ x i ∈ R m ( j , s ) y i , x ∈ R m , m = 1 , 2 \begin{array}{ll} R_1(j,s)=\{x|x^{(j)} \leqslant s\}\\[2ex] R_2(j,s)=\{x|x^{(j)} \gt s\} \\[2ex] \hat c_m = \frac1{N_m}\sum_{x_i \in R_m(j,s)}y_i, \quad x \in R_m, \quad m=1,2 \end{array} R1​(j,s)={ x∣x(j)⩽s}R2​(j,s)={ x∣x(j)>s}c^m​=Nm​1​∑xi​