分类算法 -- 决策树C4.5算法

决策树常用的有ID3，C4.5和CART算法，在得到决策树之后还要对树进行剪枝。

ID3算法：https://blog.csdn.net/weixin_43216017/article/details/87474045
CART算法：https://blog.csdn.net/weixin_43216017/article/details/87617727
决策树的剪枝：https://blog.csdn.net/weixin_43216017/article/details/87534496

在上一篇介绍ID3算法文章中，我们指出ID3算法采用信息增益作为标准，缺点在于会偏向分类更多的自变量，并且不能处理连续值。

在本文中，我们将介绍C4.5算法，采用信息增益比代替信息增益，从而减小某一自变量分类个数的影响。

我们假设使用的数据集为$D$，待计算的自变量为$A$，$g(D,A)$则信息增益比为：
$$g_r(D,A)=\frac{g(D,A)}{H_A(D)}$$
其中，$$H_A(D)$$