机器学习：决策树之信息论基础（信息熵）

决策树之信息论基础

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法
理解：决策树

例子：银行贷款数据
这里给了一个例子我们怎么去判断有个用户是否可以给贷款。

我们可以这样划分：

但是决策树的实际划分是：
我们有一个最主要的划分点。那就是房产。

再看一个例子：了解信息的度量和作用

假设这里有32支球队，我们没有任何信息，每个球队夺冠的概率是一样的，那么我们怎么去判断哪一个球队会夺冠呢。

这个给一个情景：
每猜一次给一块钱，告诉我是否猜对了，那么我需要掏多少钱才能知道谁是冠军？

那么我可以把球编上号，从1到32，然后提问：冠 军在1-16号吗？依次询问，只需要五次，就可以知道结果。这就不用每一个都去猜。

这里介绍一个人：

信息论的创始人，香农是密歇根大学学士，麻省理工学院博士。
1948年，香农发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础
信息的单位：比特

信息熵

如果我们不进行标记然后划分进行球队的猜，我们要进行32次，就是
32支球队，log32=5比特

如果给了一些球队的历史信息，那么我们可能会筛选掉一些球队的获胜概率。那么再去猜可能就没有5比特。

“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：
p为概率：
H = -(p1logp1 + p2logp2 + … + p32log32)

H的专业术语称之为信息熵，单位为比特。
公式：

当这32支球队夺冠的几率相同时，对应的信息熵等于5比特

当得知一些信息过后我们的比特就会变小，就是代价。那么我们称这个为信息熵。

信息熵越大不确定因素多，信息和消除不确定性是相联系的