单个随机变量的熵为该随机变量的不确定度
。
对于属性
A
,它的熵由以下公式计算:
(4)
其中,
P(a)
是属性
A
的概率分布。对于分类信息的信息熵
H(class)
同样由公式
(4)
计算得出。
在属性
A
在
class
条件下的熵,条件熵
H(class|A)
由以下公式计算:
(5)
其中,
P(l,a)
为
class
与
A
的联合概率分布,
P(l|a)
为
class
与
A
的条件概率分布。
信息增益是由另一随机变量导致的原随机变量不确定度的缩减量。信息增益率是不确定度的缩减量占自身信息熵的比例。属性
A
相对于
class
的信息增益率
GainRatio(class,A)
由以下公式计算:
(6)