c语言实现id3算法决策树,决策树学习与ID3算法C++实现

决策树学习是以实例为基础的归纳学习，它从一类无序、无规则的事物(也就是概念)中推理出决策树表示的分类规则。

决策树

所谓决策树就是一棵表示“怎么做决定”的树。比如你现在考虑是否要去跑步，那么你也许会以这样的顺序来考虑：

天气怎么样？如果下雨我就不去了；不下的话，我再考虑考虑。

我状态怎么样？如果良好就出发吧，不然就算了吧。

如果将上面这个考虑(做决定)过程转化为一棵决策树，它会是下面这个样子的：

DecisionTree.png

注意上面列出的两个点之间是有优先级的，第一点显然是我们先考虑的。好的决策树的层次就表现了良好优先级，在顶层的属性(如“天气”)，其决策优先级要高，这也意味着这一属性是可以最快导出结果的。

上面例子的决策树碰巧是一棵二叉树，实际上决策树可以是任意多叉的。

决策树学习

决策树学习采用的是自顶向下的递归方法，决策树的每一层结点依照某一属性值向下分为子结点，待分类的实例在每一结点处与该结点相关的属性值进行比较，根据不同的比较结果向相应的子节点扩展，这一过程在到达决策树的叶结点时结束，此时得到结论。

从根结点到叶结点的每一条路径都对应着一条合理的规则，规则间各个部分(各个层的条件)的关系是合取关系。整个决策树就对应着一组析取的规则。决策树学习算法的最大优点是，它是可以自学习的。

在学习的过程中，不需要使用者了解过多背景知识，只需对训练例子进行较好的标注，就能够进行学习。如果在应用中发现不符合规则的实例，程序会询问用户该实例的正确分类，从而生成新的分支和叶子，并添加到树中。

决策树学习相关定义

决策树学习算法是以信息熵为基础的。

下面是一些相关的定义：

自信息量

设信源

发出

的概率为

，在收到符号

之前，收信者对

的不确定性定义为

的自信息量

。其中，

信息熵

自信息量只能反映符号的不确定性，而信息熵用来度量整个信源整体的不确定性，定义为：