6. 决策树算法原理以及cart代码实现

完整的实验代码在我的github上👉QYHcrossover/ML-numpy: 机器学习算法numpy实现 (github.com) 欢迎star⭐

在上一篇博客中，我们介绍了两种常见的决策树算法：ID3和C4.5。它们都是一种基于树结构的分类算法，通过建立一棵树的形式来表示分类规则，并根据树的结构进行分类。

ID3算法是一种贪心算法，每次选择信息增益最大的特征作为划分属性。但是ID3存在一个问题，它倾向于选择取值多的特征作为划分属性，因此会对取值多的特征产生较大的偏好，从而导致决策树的过拟合。为了解决这个问题，C4.5算法对ID3进行了改进，它使用信息增益比来选择划分属性，从而避免了ID3算法的缺陷。

虽然ID3和C4.5算法在决策树分类问题上表现良好，但是它们也存在一些缺点。对于连续值的属性或者离散值类别过多的属性，它们并不能很好地处理。此时，CART算法就派上了用场。

CART决策树算法原理

CART（Classification and Regression Tree）决策树是其中一种流行的决策树算法，它可以处理分类和回归问题，本文将简单介绍CART决策树的算法原理。

CART决策树的算法原理与ID3和C4.5不同，它采用二叉树来进行决策，每个节点仅有两个子节点，分别代表某个特征的取值是“是”和“否”。CART决策树通过最小化平方误差或基尼不纯度来进行特征选择，并将数据划分成纯度更高的子集。对于分类问题，CART使用基尼不纯度作为衡量指标，其定义如下：

$$Gini(D)=\sum _{k=1}^{|\mathcal{Y}|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k(1-p_k)$$

其中，$D$是样本集合，$\mathcal{Y}$是类别集合，$p_k$是属于类别$k$的样本在样本集合 D D