C&RT（CART）详解

#C&RT详解

第七次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇文章的内容来自于各种书籍、网上资料，以及自己的一些见解。关于决策树的一些基本概念在这篇博客《Decision Tree简介（决策树算法族的开篇）》中有相关介绍。

预备知识：

这一部分主要是谈一谈几种基于信息论和回归误差的结点划分方法，包括基尼系数（Gini Value）、回归误差（Regression Error）、线性回归误差（Linear Regression Error）、基尼指数（Gini Index）、加权回归误差（Weighted Regression Error）以及加权线性回归误差（Weighted Linear Regression Error）。

基尼系数（Gini Value）

  “基尼系数”（Gini Value）是度量数据集纯度的一种指标，其定义如下

由上式可以看出，基尼系数（Gini Value）反映了从数据集$D$中随机抽取两个样本，他们的类别标记不一致的概率，因此，基尼系数越小，数据集的纯度越高。

回归误差（Regression Error）

  “回归误差”（Regression Error）也是定义数据集纯度的指标之一，定义如下

其中， y ˉ = a v e r a g e _ o f { y n } \bar{y}=average\_of\{y_n\} yˉ​=average_of{ yn​}。

线性回归误差（Linear Regression Error）

  假设，给定数据集 D = { ( x i , y i ) ∣ i = 1 , 2 , . . . , m } D=\{\left(\mathbf{x}_i,y_i\right)|i=1,2,...,m\} D={ (xi​,yi​)∣i=1,2,...,m}含有$m$个样本点，其中 x i = { x i j ∣ j = 1 , 2 , . . . , n } \mathbf{x}_i=\{x_i^j|j=1,2,...,n\} xi​={ xij​∣j=1,2,...,n}为第$i$个样本的$j$维特征向量，$y_i$为这个样本的真实输出值。根据给定的数据集训练得到一个线性模型，该模型的表达式如下所示

其中，$f\left(x\right)$为该模型的预测输出，$x^j$为样本$\mathbf{x}$的第 j j