决策树(判断树)
一、算法原理
重点:如何选取判断条件?
核心:找出特征点,利用算法进行量化划分样本
二、ID3决策树
自信息和信息熵:
自信息定义:随机变量所含的信息
信息熵:度量信息的不确定性。概率取值均等,对随机变量无倾向性,信息熵最大
“纯度”度量:信息熵
条件熵:
信息增益=信息熵-样本信息熵的期望
三、C4.5决策树
基于ID3决策树的改进,原因如下:
因而,C4.5采用启发式算法,选出信息增益高于平均水平的属性,然后在里面再选出增益率最高的。
四、CART决策树