决策树

1. 决策树的生成过程

输入：训练集D，特征集A，阈值e

输出：决策树T

if 遇到终止条件（D中所有样例的类别均为Ck，A=∅）

    return 类别标签

else:

    根据公式计算信息增益，选择信息增益最大的作为最优特征Ag

    如果信息增益小于阈值e，在训练集D中进行投票，决定当前节点的类别

    否则，对于训练集D，以特征Ag为标准，将其划分成若干个非空子集Di，构建子节点。

    遍历Ag的取值，以Di为训练集，以A-{Ag}为特征集，递归的执行以上步骤，返回子树Ti

    

2. 公式（熵，条件熵，信息增益，信息增益率，基尼系数）

物理意义，公式，分析（图像，参数）

3. 信息增益率比信息增益的优势在哪里？

信息增益偏向于选择类别取值较多的特征，因为类别较多的特征会导致条件熵的系数减小，进而使得公式中的减数减小，信息增益变大。

4. 过拟合

5. 例子

6. 优劣势

ID3的缺点

不能处理连续值的情况

没有考虑缺失值的情况

没有考虑过拟合的情况

偏向选择取值较多的属性（特征）

7. 应用