a星算法的优缺点_决策树算法总结

前言

决策树是机器学习模型较常用的一种方法，李航老师《统计学习方法》详细的描述了决策树的生成和剪枝，本文根据书中的内容，对决策树进行了总结。

目录

---

1. 决策树不确定性的度量方法

2. 决策树的特征筛选准则

3. 决策函数的损失函数评估

4. 决策树最优模型的构建步骤

5. 决策树的优缺点分析

决策树不确定性的度量方法

1. 不确定性的理解

下图为事件A是否发生的概率分布，事件发生记为1，讨论事件A的不确定性。

(1) 我们考虑一种极端的情况，若 p=1或 p=0，表示为事件A必定发生或事件A不可能发生，即不确定性为0。

(2) 若 p>1/2，即事件A发生的概率大于事件A不发生的概率，我们倾向于预测事件A是发生的；若 p<1/2，即事件A不发生的概率小于事件A发生的概率，我们倾向于预测事件A是不发生的。若 p=1/2&