机器学习实战之 决策树——ID3算法

机器学习实战之 决策树——ID3算法

决策树的含义

所谓决策树，顾名思义，是一种树，一种依托于策略抉择而建立起来的树。机器学习中，决策树是一个预测模型；它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的是某个可能的属性值，而每个叶子节点则对应根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同的输出。

         从数据产生决策树的机器学习技术叫做决策树学习，通俗点就是决策树，是一种依托于分类、训练上的预测树，根据已知预测、归类未来。

二、ID3算法

         ID3算法是一个由RossQuinlan发明的用于决策树的算法。这个算法便是建立在奥卡姆剃刀的基础上：越是小型的决策树越优于大的决策树。尽管如此，该算法也不是总是生成最小的树形结构，而是一个启发式算法。

         汤姆米歇尔《机器学习》中对ID3算法的描述：

         ID3算法思想描述：

1)                对当前例子集合，计算属性的信息增益；

2)                选择信息增益大的属性A

3)                把在A处取值相同的例子归于同意子集，A取几个值就得几个子集

4)                依次对每种取值情况下的子集，返回1）递归调用建树算法，

5)                若子集中只含有单个属性，则分支为叶子节点，判断其属性值并标上相应的