决策树

目录

 

1.决策树的概念

2.决策树的学习

2.1 特征选择

2.1.1 信息增益

2.1.2 信息增益比

2.2 决策树的生成

2.2.1 ID3

2.2.2 C4.5

2.3 决策树的剪枝

补充知识

---

1.决策树的概念

决策树模型是一种树形结构，可以看成是if-then的集合。

决策树有节点和边，节点分为叶子节点和内部节点（不是叶子节点的就是内部节点）。

2.决策树的学习

给定数据集  , xi是n维的特征向量，n是特征个数。yi为标记。n是样本容量。

决策树的目标是根据给定的训练集构建一个模型用以对实例进行分类。能对训练数据集进行正确划分的决策树可能有多个，也可能一个都没有，因此目标是生成一个与训练数据矛盾较小的决策树，同时要具有较好的泛化能力。通常使用正则化的极大似然函数来作为损失函数进行学习。

决策树的学习通常是递归的选择最优特征进行划分。此方法生成的决策树可能会具有过拟合，因此需要对已生成的树自下而上进行剪枝。具体为去掉过于细分的叶节点，使其回退到父节点。如果特征数量很多，可以在决策树学习开始时就进行选择，留下对训练数据有足够分类能力的特征。

即决策树学习主要包括 特征选择，决策树生成，决策树的剪枝 三部分。常用算法有ID3， C4.5， CART。