决策树学习笔记1

一、衡量标准：

1、熵：随机变量不确定性的度量

2、信息增益：特征X使类Y的不确定性减少的程度

举例计算：有如下数据，4个特征，1个结果（play）

计算类Y(打不打球)的熵值：0.94；

Outlook = sunny 的熵值计算： -2/5*log2(2/5)-3/5*log2(3/5) = 0.971;

3、信息增益率：

二、算法分类：

1、ID3；

2、C4.5;(解决ID3问题，考虑自身熵值，如ID)：信息增益/自身熵值

3、CART;

三、补充

1、若特征是连续值：进行数据的二分（离散化）

四、剪枝：防止过拟合（在训练集上表现很好，但在测试集上表现不好）
 

1、预剪枝：边建立决策树边进行剪枝（实用）；（sklearn 可视化）

 

2、后剪枝：建立完决策树再剪枝；