西瓜书——第四章 决策树总结

一、基本概念

1、什么是决策树；
2、知道决策树的学习目的和基本策略；（分而治之）
3、掌握决策树算法，知道有哪三种情况会导致递归返回；

二、划分选择（这里讲的是离散属性值）

1、掌握基本概念和计算公式：信息熵，信息增益（著名的ID3）；增益率（C4.5算法）；基尼系数（CART算法）；
2、知道该如何去选择合适的划分方法；

三、剪枝处理

1、为什么要进行剪纸处理；（对付“过拟合”）
2、决策树的剪纸处理有哪些方法，对应的优缺点有哪些；（预剪纸和后剪纸）
3、如何判断剪纸处理的好坏，衡量标准是什么；

四、连续与缺失值（这里讲的是连续属性值）

1、掌握连续属性的选择方法；
2、若当前节点已经连续属性A了，后续判别能否出现判别标准A呢？对于离散属性是否也一样？
3、如何在属性值缺失的情况下进行划分属性选择；（信息增益计算式推广）
4、给定划分属性，若样本在该属性上的缺失，如何对样本进行划分；（以不同的概率划分到不同的属性中去）

五、多变量决策树

1、决策树所形成的分类变价有什么明显的特点？（轴平行）
2、对变量决策树出现的背景；（学习任务的真实分类边界比较复杂)
3、如何解决上述问题：利用多变量决策树；
4、什么是多变量决策树；
5、对赋值的决策问题，如何使用多变量决策树；（对属性的线性组合）