决策树与随机森林

决策树：

1. 利用一定的 **训练样本** ，从数据中学习出决策规则，自动构造出决策树。
2. 决策树由一系列结点组成，每个结点代表一个特征和相应的决策规则。
3. 决策树的构建过程，就是选取特征和确定决策规则的过程。 

1. ID3方法（交互式二分法）：

1. ID3算法的基础：香农信息论中定义的熵. $$H(X)=-\sum\limits_{x \in X}P(x)log(P(x))$$
2. 除了采用香农熵作为不纯度的度量，也可以采用其他度量。比如不纯度度量，也称方差不纯度 $$I(N)=\sum\limits_{m{\neq}n}P(w_m)P(w_n) = 1-\sum\limits_{j=1}^kP^2(w_j)$$
3. 还有误差不纯度 $$I(N) = 1 - \max\limits_{j}P(w_j)$$

2. C4.5算法：

1. 使用信息增益率代替信息增益 $$\Delta I_R(N)=\frac{\Delta I(N)}{I(N)}$$

过学习与决策树剪枝：

1. 如果决策树生长的很大，导致过学习。
2. 控制决策树规模的做法叫剪枝，决策树剪枝有两种策略，一种叫先剪枝，一种叫后剪枝。
   2.1 先剪枝：在决策树生长过程中决定某结点是否需要继续分支还是直接作为叶结点.
   2.2 后剪枝：在决策树充分生长以后再对其进行修剪.从叶结点出发，如果消除具有相同父节点的叶结点后不会导致不纯度的明确增加，则执行消除.