《机器学习实战》3.树模型（决策树）总结

前言

本文主要总结了《机器学习实战》第三章———决策树中的若干问题，以及一些函数的用法（对比）。

---

第一部分 心得

1. 关于决策树的生成

决策树的生成算法有：ID3（本章使用）、CART、C4.5。对于ID3而言，筛选特征的原则为——最大信息增益原则。在介绍最大信息增益之间，我们首先要了解一个概念——熵(Entropy) :在信息论与概率统计中，熵是表示随机变量不确定性的度量。信息量与事件概率有关（信息量的多少是与事件发生即概率的大小成反比
）。设X是一个取有限个值的离散随机变量，X=xi （i=1,2…,n）。则符号xi的信息定义为：

为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值：
<对数以2和e为底时，熵的单位分别叫做比特（bit）和奈特（nat）>

2.关于过拟合问题

如果一个模型非常适合训练数据，但要对非训练集的真实数据进行预测就不能使人满意，这就是过拟合问题（Overfitting）