西瓜书4.1，4.2读书笔记

1. 决策树算法

决策树学习本质上是从训练数据集中归纳出一组分类规则，能对训练数据进行正确分类的决策树可能有多个，也可能没有。构造精度高、规模小的决策树是决策树算法的核心内容。

决策树构造可以分两步进行：

1.决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。

2. 决策树的剪枝：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用测试数据集中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除。

2. 决策树的典型算法

2.1 ID3算法

ID3算法是决策树的一种，它是基于奥卡姆剃刀原理的，即用尽量用较少的东西做更多的事。

2.2 C4.5算法 

C4.5算法核心算法是ID3算法。C4.5算法产生的分类规则易于理解，准确率较高。不过在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，在实际应用中因而会导致算法的低效。

2.3 CART算法

CART 使用了一种先验机制，其作用相当于对类别进行加权。这种先验机制嵌入于 CART 算法判断分裂优劣的运算里，在 CART 默认的分类模式中，总是要计算每个节点关于根节点的类别频率的比值，这就相当于对数据自动重加权，对类别进行均衡。CART 的优势是无论训练数据集有多失衡，它都可以将其子冻消除不需要建模人员采取其他操作。