吃瓜笔记Task3

决策树（判断树）

一、算法原理

重点：如何选取判断条件？

核心：找出特征点，利用算法进行量化划分样本

二、ID3决策树

自信息和信息熵：

自信息定义：随机变量所含的信息

信息熵：度量信息的不确定性。概率取值均等，对随机变量无倾向性，信息熵最大

 

“纯度”度量：信息熵

 

条件熵：

 

信息增益=信息熵-样本信息熵的期望

 

三、C4.5决策树

基于ID3决策树的改进，原因如下：

因而，C4.5采用启发式算法，选出信息增益高于平均水平的属性，然后在里面再选出增益率最高的。

四、CART决策树