[机器学习] 第四章 决策树 2.Q & A

目录

1.Q:决策树和条件概率分布的关系？

2.Q: ID3和C4.5算法可以处理实数特征吗？如果可以应该怎么处理？如果不可以请给出理由？

3.Q：既然信息增益可以计算，为什么C4.5还使用信息增益比？

4.Q:基尼指数可以表示数据不确定性，信息熵也可以表示数据的不确定性. 为什么CART使用基尼指数？

5.Q：决策树怎么剪枝？

6.Q:为什么使用贪心和其发生搜索建立决策树，为什么不直接使用暴力搜索建立最优的决策树？

7.Q:如果特征很多，决策树中最后没有用到的特征一定是无用吗？

8.Q:决策树的优缺点？

9.Q:基尼系数存在的问题?

---

1.Q:决策树和条件概率分布的关系？

决策树可以表示成给定条件下类的条件概率分布. 决策树中的每一条路径都对应是划分的一个条件概率分布. 每一个叶子节点都是通过多个条件之后的划分空间，在叶子节点中计算每个类的条件概率，必然会倾向于某一个类，即这个类的概率最大.

2.Q: ID3和C4.5算法可以处理实数特征吗？如果可以应该怎么处理？如果不可以请给出理由？

ID3和C4.5使用划分节点的方法分别是信息增益和信息增益比，从这个公式中我们可以看到 这是处理类别特征的方法，实数特征能够计算信息增益吗？我们可以定义X是实数特征的信息增益是&