划分数据集的最大原则是:将无序的数据变得更加有序。
在划分数据集之前之后发生的变化称为信息增益。
需要了解的几个名词,信息、熵(entropy)、信息增益(information gain)
熵定义为信息的期望值。
信息 :如果待分类的事物可能划分在多个分类之中,则符号
x
i
x_i
xi的信息定义为
l
(
x
i
)
=
−
l
o
g
2
p
(
x
i
)
l(x_i)=-log_2p(x_i)
l(xi)=−log2p(xi)
其中
p
(
x
i
)
是
选
择
该
分
类
的
概
率
p(x_i)是选择该分类的概率
p(xi)是选择该分类的概率;
为了计算熵,我们需要计算所有类别所有可能值包含的信息期望值,通过下面的公式可以得到:
H
=
−
∑
i
=
1
n
p
(
x
i
)
l
o
g
2
p
(
x
i
)
H=-\sum_{i=1}^{n}p(x_i)log_2p(x_i)
H=−i=1∑np(xi)log2p(xi)
其中n是分类的数目;
我们将对每个特征划分数据集的结果计算一次信息熵,计算信息增益,然后判断按照哪个特征划分数据集是最好的划分方式。