决策树（一）

1、举例：

关于什么是决策树（decision tree），我们先来看这么一个例子。假如我错过了看世界杯，赛后我问一个知道比赛结果的人“哪支球队是冠军”？他不愿意直接告诉我，而让我猜，并且每猜一次，他要收一元钱才肯告诉我是否猜对了，那么我要掏多少钱才能知道谁是冠军呢？我可以把球队编上号，从1到16，然后提问：“冠军球队在1-8号中吗？”，假如他告诉我猜对了，我会接着问：“冠军在1-4号中吗？”，假如他告诉我才错了，那么我自然知道冠军在5-8号中。这样只需要五次，我就能知道哪支球队是冠军。

而这背后所隐藏着的其实就是决策树，我们用更为直观的图来展示上面的过程：
 

由此我们得出，决策树就是降低判断这件事不确定性的过程，你甚至可以将其看成是一个if-then规则的集合。如上图，一开始有16中可能性，接着变成8种，这意味着每次决策我们都能得到更多的信息，减少更多的不确定性，判断的更准确，也就是向着判断更准确的方向发展。

不过对于熟悉足球的人来说，这样的决策树似乎显得多余了。因为只有少部分的球队有夺冠的希望，而大多数都是没可能夺冠的。因此在一开始的时候就将几个热门的可能夺冠的球队分在一起，将剩余的放在一起，整个决策的效率可能就提高了一个量级。

比如最有可能夺冠的是1,2,3,4这四个球队，其余的夺冠的可能性远远小于这四个。那么一开始就可以分成1-4和5-16，如果是在1-4中，那么后面很快就能知道谁是冠军；退一万步，假如真是在5-16，你同样可以将其按照这样的思路在下一步做决策的时候将其划分成最有可能和最不可能的两个部分。

于是我们发现：若一种划分，一次能使数据的“不确定性”减少得越多（谁不可能夺冠），就意味着该划分能获取更多的信息，而我们就更倾向于采取这样的划分，因此采用不同的划分就会得到不同的决策树。现在的问题就是如何来构建一棵“好”的决策树呢？要想回答这个问题，我们先来解决如何描述的“信息”这个问题。
2. 信息的度量

2.1 信息熵

信息的信息量与判断某件事的不确定性有着直接的关系，也就是说信息的信息量越多，判断某件事就越准确。比如说，我们要搞清楚一件非常非常不确定的事，就需要了解大量的信息。相反，如果已经对某件事了解较多，则不需要太多的信息就能把它搞清楚。所以从这个角度可以引出：信息量的多少就等于判断某件事不确定性的多少，可以这样理解：（所需）信息量越大，该件事的不确定性越大。我们经常说，一句话包含有多少信息，其实就是指它不确定性的多与少，而这句话可以这样理解，太阳从东北出来了，这句话信息量很少，因为这句话是句废话，人都直接太阳从东边出来，这句话不确定性为0；如果有人说太阳从西边出来了，这句话信息量就大了，因为不确定性很强。
于是，引例中第一种划分的不确定性（所需信息量）就等于“4块钱”,也就是判断这件事所需信息量为“4块钱”，因为我花4块钱就可以解决这个不确定性。当然，香农不是用钱，而是用“比特”(bit)这个概念来度量信息量。一个字节就是8比特。在上面的引例第一种情况中，“谁是冠军”这条消息的信息量是4比特。那4比特是怎么计算来的呢？第二种情况的信息量又是多少呢？

香农指出，它的准确信息量应该是： 

其中log表示以2为底的对数，p1,p2,...,p16分别是这16支球队夺冠的概率。香农把它称为“信息熵(Entropy)，一般用符号H表示，单位是比特。当16支球队夺冠概率相同时，对应的信息熵就是4比特。并且等概率时的信息熵最大，即引例中的（所需）信息量不可能大于4。

对于任意一个随机变量X（比如得冠军的球队），它的熵定义如下： 

我们可以看到，当概率均等（p=1−p=0.5）时，信息熵最大，也就是说此时的不确定性最大，要把它搞清楚，所需要的信息量也就越大。

总的来说，信息熵就是判断某件事所需信息量的度量。

2.2条件熵

在谈条件熵(condition entropy)之前，我们先来看看信息的作用。

一个事物，内部会有不确定性，假定为U；从外部消除这个不确定性唯一的办法就

也就是在给定信息I条件下后该件事物的新的熵。

2.3 信息增益

我们在引例中说过：若一种划分能使数据的“不确定性”减少得越多，就意味着该划分能获取更多的信息，而我们就更倾向于采取这样的划分。也是就说，存在某个事物I，它使得H(U|I)要尽可能的小，即当引入信息I之后该事件的熵变小了。

来源：

https://blog.csdn.net/The_lastest/article/details/78906751