1 决策树的构造
在构造决策树之前,我们需要解决的第一个问题就是当前数据集上哪个特征在划分数据集上起决定性作用。为了划分出最好的效果,我们必须评估每个特征。
一般的划分数据采用二分法,而本文采用ID3算法划分数据集
上面的表包含了5个海洋生物的数据,两个特征以及把这些动物分成鱼类和非鱼类,现在我们决定是依据第一个特征还是第二个特征来划分数据。
2. 信息增益和熵
在讲如何划分之前,我们先讲下信息增益。所谓信息增益就是在划分数据集之前和之后发生的变化称为信息增益。集合信息的度量称为香农熵或者熵。
在1948年,香农引入了信息熵,将其定义为离散随机事件出现的概率,一个系统越是有序,信息熵就越低,反之一个系统越是混乱,它的信息熵就越高。所以信息熵可以被认为是系统有序化程度的一个度量。
假如一个随机变量的取值为