机器学习 - 决策树 Decision Tree（学习笔记）

什麽是决策树

一种对实例进行分类的树形结构，通过多层判断区分目标所属类别 

本质：通过多层判断，从训练数据集中归纳出一组分类规则

构造树的基本想法是随着树深度的增加，节点的熵迅速地降低。熵降低的速度越快越好，这样我们有望得到一棵最矮的决策树。

优点：

1.计算量小，运算速度快        

2.易于理解，可清晰查看各属性的重要性

缺点：

1.忽略属性间的相关性        

2.样本类别分佈不均匀时，容易影响模型表现

3.ID3 没有剪枝策略，容易过拟合

4.信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征其信息增益接近于 1

5.只能用于处理离散分布的特征

6.没有考虑缺失值

决策树求解

目标：根据训练数据集构建一个决策树模型，使它能够对实例进行正确的分类

问题核心：特征选择，每一个节点，应该选用哪个特征

三种求解方法：ID3、C4.5、CART

ID3方法详解

熵本质上代表的是内部信息的混乱程度。

信息熵（entropy） 是度量随机变量不确定性的指标，信息熵越大，变量不确定性越大。

ID3方法整体思路就是在每个节点处，对比不同属性带来的信息增益，选取增益大的属性，继续分叉，直到满足某个停止条件（为提升泛化能力，可能还有剪枝操作）为止。样本集合D中第k类样本所佔比例为Pk，则D的信息熵为：

以属性a进行样本划分带来的信息增益：即 划分前的信息熵 - 划分后的信息熵，则信息增益越大越好。