【决策树】ID3算法理解与R语言实现

一、算法理解

想来想去，还是决定用各大畅销书中的相亲例子来解释什么叫决策树。

简单来说，决策树就是根据各种变量，作为输入条件，最终输出决策的过程。比如上图中女方在相亲过程中，影响是否见男方的变量有年龄、长相、收入、是否是公务员等。

最终在各种变量组合下，最终输出见或不见的决策。

下边是决策树的一种定义：

决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。

二、数学公式

对于决策树有大体认识后，我们来讨论其背后的包含的数学理论支撑，主要是信息论中的信息。为了理解，我们需要了解两个数学概念。

信息熵：熵是无序性（或不确定性）的度量指标。假如事件A的全概率划分是（A1,A2,...,An），每部分发生的概率是(p1,p2,...,pn)，那信息熵的公式如下：

信息增益：

简单来说，就是在某种变量算出其相应的信息熵后，用总体信息熵减去，即为该变量的信息增益。比如，我们算出见与不见总体的信息熵，减去年龄变量的信息熵，即为信息增益,Gain（x）。

一般我们选择信息增益最大的变量进行节点划分，这样能快速对决策树进行分叉，并且保证决策树的高度最小。

举例说明：

在某社区中，我们根据某用户的用户博客密度，好友密度、是否使用真实头像来判断该用户是真人还是机器人。

具体的数据如下：

日志密度	好友密度	是否真实头像	账号是否是真实的
s	s	no	no
s	l	yes	yes
l	m	yes