决策树（ID3、C4.5、CART）

决策树通过不断地发掘规则将特征空间划分为一个一个的小单元，每个小单元就是决策树的叶子节点（表示一个类），而决策树的内部节点表示一个特征或属性。从根节点到叶节点可以看作一条规则，规则的末尾即叶节点代表的是该条规则的所属类别。对于输入的样本从根节点开始寻找该样本满足的规则，也就是该样本的预测结果。
在构建决策树的过程中，最重要的是制定规则的准则，准则的不同，得到的决策树也不同。

ID3决策树

熵：熵定义为信息的期望值，熵表示信息的混乱度，熵越高，则混合的数据越多，信息越混乱。
熵的计算公式：$H(X)=-{\sum }_{i=1}^{n}p(x_i)lo{g}_{2}p(x_i)$
信息增益：通过对数据集的划分后熵的减少量即数据无序度和混乱度的减少量
设$A$为待划分的特征，$D$为训练数据集，$g(D,A)$为信息增益。
$H(D|A)$表示数据集$D$在特征$A$的划分下的信息增益。$$H(D)=-\sum _{i=1}^K\frac{|C_i|}{|D|}lo{g}_2\frac{|C_i|}{|D|}$$$K$是数据集的类别数量，$|C_i|$表示属于第$i$类的样本数，$|D|$表示样本容量。
$$H(D|A)=\sum _{i=1}^N\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^N\frac{|D_i|}{|D|}\sum _{j=1}^K\frac{|D_{ij}|}{|D_i|}lo{g}_2\frac{|D_{ij}|}{|D_i|}$$
$N$是特征$A$的不同取值个数，$|D_i|$表示$A$取值第$i$个值的样本数，$|D_{ij}|$表示在$D_i$样本中类别为$j$的样本数，$H(D|A)$是条件熵，表示在已知随机变量$A$的条件下随机变量$D$的不确定性。
计算信息增益：$$g(D,A)=H(D)-H(D|A)$$
在构建ID3决策树的过程中，从根节点开始根据信息增益最大的原则选择特征作为内部节点，直到$D$中的样本都属于同一类或者$g(D|A)$的信息增益小于设置的阈值$\epsilon$。

C4.5决策树

C4.5决策树使用的C4.5算法与ID3算法相似，但C4.5决策树在规则生成的过程中采用信息增益比。
信息增益比：$$G(D|A)=\frac{g(D|A)}{H_A(D)}=\frac{H(D)-H(D|A)}{-{\sum }_{i=1}^N\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}}$$
$H_A(D)$表示数据集$D$关于特征$A$的值的熵。

CART决策树

ID3决策树和C4.5决策树中的每个内部节点可能有多个子节点，在CART决策树中，每个内部节点只有两个子节点，是一颗二叉树。CART决策树既能用于分类问题又能用于回归问题。

• 分类问题：
  CART决策树在生成规则的过程中采用基尼指数。基尼指数越大，样本的不确定性也就越大。
  基尼指数的定义：$Gini(p)={\sum }_{i=1}^K{p}_i(1-p_i)$
  在这里$Gini(D)={\sum }_{i=1}^N\frac{|C_i|}{|D|}(1-\frac{|C_i|}{|D|})=1-{\sum }_{i=1}^N(\frac{|C_i|}{|D|}{)}^2$,$|C_i|$表示属于第$i$类的样本数，$|D|$表示样本容量。
  根据特征划分节点时没有把该特征的所有特征值都作为子节点来划分，样本集合$D$只根据特征$A$是否取值$a$被分割成$D_1$和$D_2$,然后计算基尼指数。$$Gini(D|A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$$Gini(D)$表示集合$D$的不确定性，$Gini(D|A)$表示数据集$D$经特征$A$的某一特征值分割后的不确定性。遍历数据集$D$的特征$A$和特征的每个特征值$a$,计算基尼指数，找出基尼指数最小的特征和特征值作为最优切分点，当节点中的样本数或样本集的基尼指数少于预定阈值时停止计算。
  若特征为连续属性，将连续属性$A$上出现的$n$个不同值排序记为$\left\{a^1,a^2,a^3,...,a^n\right\}$，在$A$上寻找划分点$t=\frac{a^i+a^{i+1}}{2},1⩽i⩽n-1$，即把区间$[a^i,a^{i+1}]$的中位数$\frac{a^i+a^{i+1}}{2}$作为划分点。
  - 回归问题：
  分类树中使用基尼指数最小化准则，在回归树中用平方误差最小化准则进行特征选择，同样是二叉树。一个集合经过某个特征划分为两个单元，在单元$R_m$上的固定输出值是该单元上所有输入实例对应的输出$y_i$的均值：$c_m=\frac{1}{M}{\sum }_{i=1}^M{y}_i$
  平方误差：$\theta ={\sum }_{i=1}^M(y_i-c_m{)}^2$
  在选择最优切分点时，遍历所有特征的所有可能切分点，寻找使切分后的两个单元平方误差最小的切分点。$$R_1(j,s)=\left\{x|x^{(j)}<s\right\},R_2(j,s)=\left\{x|x^{(j)}⩾s\right\}$$
  $R_1(j,s)$表示选择第$j$个特征和它的值$s$作为切分点得到的切分单元。
  寻找使得平方误差最小的特征和特征值：$$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\subseteq R_1(j,s)}^{y_i}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\subseteq R_2(j,s)}^{y_i}(y_i-c_2{)}^2]$$

剪枝问题：

• 预剪枝：预剪枝是在训练过程中发生，基于贪心本质当划分分支后精确度下降禁止这些分支展开。降低了过拟合的风险，但容易带来欠拟合的风险。预剪枝每次仅考虑了当前属性可能带来的泛化性能降低，没有考虑到后续多个属性组合可能会带来的泛化性能的提升。
• 后剪枝：通过验证数据集对已建立的树模型进行剪枝，从底往上。若去掉该分支且精度增加，则剪除掉该分支。CART剪枝点击这里

几种决策树的特点：

ID3决策树采用信息增益的方法，对可取特征值较多的属性有所偏好，所以分支可能更多。（信息增益的特点）
C4.5采用增益率准则对可取值数目较少的属性有所偏好。
CART决策树既能用于分类问题还能用于回归问题，是一棵二叉树。

我们上面讨论的决策树，节点都是根据一个属性来划分的，这在有些时候会让模型变得很复杂。可以通过改变节点的选取，让节点使用多个属性的线性组合来划分，这样的决策树被称为多变量决策树。