《机器学习实战》（三）决策树(decision trees)

决策树的构造

优点

计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。

缺点

可能会产生过度匹配( overfitting)问题。

试用数据范围

数值型和标称型。

---

信息增益：在划分数据集之前之后信息发生的变化。

符号 $x_i$的信息定义为

$$l\left(x_i\right)=-log_2p\left(x_i\right)$$
其中