C4.5算法【python，算法，机器学习】

优点

1. 可以处理缺失值。
2. 特征只能使用一次。
3. 可以剪枝，可以避免过拟合问题。

缺点

1. 不适合大数据集的训练，因为受内存大小影响。

计算流程

对于单个特征 A, 我们做如下假设：

1. 有两个判断值yes和no, 概率分别为$p_y$和$p_n$。
2. 有三组值a,b,c, 各组的比例分别为$r_a$、$r_b$、$r_c$，各个组内yes和no的比例分别为$r_{ay}$、$r_{an}$、$r_{by}$、$r_{bn}$、$r_{cy}$、$r_{cn}$。

那么该特征的熵增比的计算流程如下：

1. 计算初始熵:$h(init)=-(p_y\ast {\log }_2{p}_y+p_n\ast {\log }_2{p}_n)$。
2. 计算分组的条件熵:$h(D|A)=r_a(-(r_{ay}\ast {\log }_2{r}_{ay}+r_{an}\ast {\log }_2{r}_{an}))+r_b(-(r_{by}\ast {\log }_2{r}_{by}+r_{bn}\ast {\log }_2{r}_{bn}))+r_c(-(r_{cy}\ast {\log }_2{r}_{cy}+r_{cn}\ast {\log }_2{r}_{cn}))$。
3. 计算熵增:$g(A)=h(init)-h(D|A)$。
4. 计算熵增比:$gain\_ratio=g(A)/(-r_a{\log }_2{r}_a-r_b{\log }_2{r}_b-r_c{\log }_2{r}_c)$。

一下是一个简单代码示例:

import numpy as np
import pandas as pd

df = pd.DataFrame({"wage": [1, 0, 1, 0, 0, 1, 0, 0],
                   "press": [1, 1, 0, 1, 1, 1, 0, 0],
                   "platform": [2, 0, 0, 0, 1, 1, 2, 1],
                   "work": ["好", "好", "好", "好", "不好", "好", "不好",
                            "不好"]})


# 计算信息熵
def cal_entropy(p_arr):
	return sum(-p * np.log2(p) for p in p_arr)


# 计算工资特征的初始熵
init_entropy_wage = cal_entropy([5 / 8, 3 / 8])
# 计算工资列特征的信息熵
entropy_wage = (3 / 8 * cal_entropy([3 / 3]) +
                5 / 8 * cal_entropy([2 / 5, 3 / 5]))
# 计算工资的熵增
gain_entropy_wage = init_entropy_wage - entropy_wage
print(gain_entropy_wage)
# 计算工资的熵增比，利用熵增除以特征分组比例的信息熵,这里的分组熵和初始熵计算值是一样的
gain_ratio_wage = gain_entropy_wage / cal_entropy([5 / 8, 3 / 8])
print(gain_ratio_wage)