1. 决策树(Decision Tree)是一种常用的分类方法,是一种监督学习。
一般的,一棵决策树包含一个根节点、若干个内部节点和若干个叶节点;叶节点对应于决策结果,其他每个节点则对应于一个属性测试。每个节点包含的样本集合根据属性测试的结果被划分到子节点中;根节点包含样本全集。
从根节点到每个叶节点的路径对应了一个判定测试序列。
2. ID3决策树算法
信息熵是度量样本集合纯度最常用的一种指标。
利用信息熵原理选择信息增益最大的属性作为分类属性,递归地拓展决策树的分支,完成决策树的构造。
假设当前样本集合D中第k类样本所占的比例为pk(k=1,2,...,|y|),则D的信息熵定义为
Ent(D)的值越小,则D的纯度越高。
离散属性a有V个可能的取值{};样本集合中,属性a上取值为
的样本集合,记为
.
用属性a对样本集D进行划分所获得的“信息增益”(information gain)为
一般而言,信息增益越大,则意味着使用属性a来进行划分所获得的“纯度提升”越大。
下一章讲解C4.5决策树算法。