机器学习 算法基础 四 决策树

决策树的好处

训练速度快

如何建立树？

1. $假设有N个样本：[n_1,n_2,n_3,...n_n]将N个节点都列为root节点$，

2. $现在给出分类的标准(切一刀分成两部分)，讲样本分类成左边有N_1个样本，右边有N_2个，则N_1+N_2=N，重点在于选择哪个特征将样本分类$。

3. $然后将N_1和N_2中的样本在根据指定分类标准进行分类$。

4. $如此进行下去。$

---

决策树前置知识

信息熵

• 因为第二组更容易判断，所以第二组信息熵更低。

---

• 两种情况下的信息熵：

x	0	1
P	1-p	p
log P	-log (1-p)	-log p

• 信息熵的定义
  $$E[\log P]=-(1-p)\ast \log (1-p)-p\ast \log p=-\sum _{i=1}^n{p}_i\ast \log p$$

条件熵

联想全概率公式：x条件下y发生的概率等于x，y同时发生的概率初一x发生的概率。
$$P(y|x)=\frac{P(x,y)}{P(x)}$$

一个例子：

信息熵H(X)计算：
$$P(X=数学)=\frac{1}{2},P(X=英语)=\frac{1}{4},P(X=IT)=\frac{1}{4}$$
$$H(X)=-\frac{1}{2}{\log }_2\frac{1}{2}-\frac{1}{4}{\log }_2\frac{1}{4}-\frac{1}{4}{\log }_2\frac{1}{4}$$
$$H(X)=0.5+0.5+0.5=1.5$$

信息熵H(Y)计算：
$$P(Y=F)=\frac{1}{2},P(Y=M)=\frac{1}{2}$$
$$H(Y)=-\frac{1}{2}{\log }_2\frac{1}{2}-\frac{1}{2}{\log }_2\frac{1}{2}$$
$$H(Y)=0.5+0.5=1$$

• 带条件的信息熵：
  例1
  
  例2
  
  
  
  
  

互信息

• 两个独立时间的互信息为0
  
  

相对熵

从熵到决策树

所谓决策树，就是熵从根节点到叶子节点不断下降的一棵树。

CART（C&RT）

如下例中，根据年龄和性别分类，叶子节点为最终结果。

还是上例，在根据使用使用时间创建一个决策树：

现在得到两棵树，同时对两棵树的结果做和。得到新的结果，实际上多棵树就可以称为森林。

ID3

使用熵下降最快的特征。

C4.5 信息增益率

其他目标

在第一定义中：
Gini越大 贫富差距越大

在第二定义中
Gini->0 平均
Gini->1 最不平均

---

小结

• N个样本N次采集，每次采样被采集到的概率为$$\frac{1}{N}$$
• N次采样每次没有被采集到的概率为$$1-\frac{1}{N}$$
• N次采样都没有被采集到的概率为$$（1-\frac{1}{N}{）}^N$$
• N次采样有被采集到的概率为$$1-(1-\frac{1}{N}{)}^N$$
  $$\underset{N\to 0}{\lim }[1-(1+\frac{1}{-N}{)}^{-N}]$$
  $$1-\frac{1}{e}\approx 63.2\%$$
  约有63.2%的数据会参与建树，没有参与建树的36.8%的数据称为OOB可用于做测试数据。
  

随机森林