机器学习 - 决策树

决策树是一种常见的机器学习算法，它的思想十分朴素，类似于我们平时利用选择做决策的过程。

引言

通俗的来理解决策树，比如说下班的时候，我们会根据很多情况来决定我们接下来做什么，比如说像下面这张图这样：

这也就引出了我们的问题——人凭借自己的感觉来决定做每个决策的先后顺序，那么计算机是怎么知道什么时候该做什么决策呢？这也就引出了信息熵的概念。

正文

信息熵

1948 年，香农提出了信息熵的概念解决了信息的量化问题【我们今天知道的 1bit 就是信息量化的结果】（如果不知道什么是熵的读者可以戳这里）。信息熵是被用来衡量信息的不确定性的东西，根据常识我们也可以知道，当一个东西不确定性越大的时候，我们想要了解它就要知道更多的信息。信息熵根据定义为如下表达式：