2.2决策树之信息增益率

信息增益率

信息增益率计算公式：Gain-ratio=Gain（A）/I

G（A）即Gain(S, A)=E(S)–E(S, A)

 

如下图所示：属性A有五个取值，每个取值对应一个实例，则I（1,1,1,1,1）=-1/5*log(1,5)*5

即：信息增益率的计算在掌握了信息增益的计算的基础上，需要知道分母怎么算，分母的算法与E（S，A）的算法不同，再举一个例子：

outlook的信息增益率的计算：

G（S,A）=E（S）-E（S，A）

Gain-ratio（A）=G（S，A）/I

I（5,4,5）=-5/14log(5,14)-4/14log(4,14)-5/14(5,14)

其中，log（5,14）即为log2（5/14）.

 

来自 <http://baike.baidu.com/link?url=vRUcSLExBeb9obO7DKco6uJF2KcN_DShFo3WM8ukMXj6Xz7th5J3qLENc7c2IMTQoHcsDiqtgdjPH8-GOan0dK>