决策树

1. 决策树分类

• 分类决策树（用于分类问题）
• 回归决策树（用于回归预测问题）

2. 决策树原理

主要原理是先选择数据的信息增益（ID3）或信息增益率（C4.5）或基尼系数（CRAT）对数据进行划分，在此过程中每进行一次划分需要更新相应的信息增益、信息增益率和基尼系数，直至样本被完全分开，为了防止过拟合的发生，需要进行剪枝，剪枝方式有预剪枝和后剪枝。
决策树算法的两个重要问题是构造树和预测。

1. 熵(Entropy)

• 表示系统的混乱程度，熵值越大,越混乱
  $$Ent=-\sum _{i=1}^n{P}_{i}lo{g}_2(P_i)$$

• 如何直观理解这个式子？
  例如两个系统
  A = { 1 , 2 , 3 , 4 , 5 } ， 其 概 率 分 别 为 1 / 5 , 1 / 5 , 1 / 5 , 1 / 5 , 1 / 5 A= \{1,2,3,4,5\}， 其概率分别为1/5,1/5,1/5,1/5,1/5 A={ 1,2,3,4,5}，其概率分别为1/5,1/5,1/5,1/5,1/5
  B = { 1 , 1 , 1 , 1 , 2 } ， 其 概 率 分 别 为 4 / 5 , 1 / 5 B= \{1,1,1,1,2\}， 其概率分别为4/5,1/5 B={ 1,1,1,1,2}，其概率分别为4/5,1/5
  $Ent(A)=-ln(\frac{1}{5})$
  $Ent(B)=-\frac{4}{5}ln(\frac{4}{5})-\frac{1}{5}ln(\frac{1}{5})<Ent(A)$
  根据熵值越大,越混乱，即系统A比B混乱，B更加“纯”

2. 信息增益

$$Gain(信息增益)=Ent(D)-Ent(a)$$
如何理解？
Ent(D)表示系统D总的熵，Ent(a)表示按a属性进行划分后系统的熵

例如以西瓜书上的例子

$$Ent(D)=-\sum _{i=1}^n{P}_i$$