单个随机变量的熵为该随机变量的不确定度
。
对于属性
A
，它的熵由以下公式计算：
(4)
其中，
P(a)
是属性
A
的概率分布。对于分类信息的信息熵
H(class)
同样由公式
(4)
计算得出。
在属性
A
在
class
条件下的熵，条件熵
H(class|A)
由以下公式计算：
(5)
其中，
P(l,a)
为
class
与
A
的联合概率分布，
P(l|a)
为
class
与
A
的条件概率分布。
信息增益是由另一随机变量导致的原随机变量不确定度的缩减量。信息增益率是不确定度的缩减量占自身信息熵的比例。属性
A
相对于
class
的信息增益率
GainRatio(class,A)
由以下公式计算：
(6)
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
