我们为什么需要信息增益比,而不是信息增益?
之前不知道为何要用信息增益比,信息增益比相对于信息增益有何优势,看了这篇文章感觉博主所述比较详细,特此转载用作复习
表一 满足什么情况才去玩高尔夫 [1]
- 1
Day | Temperatrue | Outlook | Humidity | Windy | PlayGolf? |
---|---|---|---|---|---|
07-05 | hot | sunny | high | false | no |
07-06 | hot | sunny | high | true | no |
07-07 | hot | overcast | high | false | yes |
07-09 | cool | rain | normal | false | yes |
07-10 | cool | overcast | normal | true | yes |
07-12 | mild | sunny | high | false | no |
07-14 | cool | sunny | normal | false | yes |
07-15 | mild | rain | normal | false | yes |
07-20 | mild | sunny | normal | true | yes |
07-21 | mild | overcast | high | true | yes |
07-22 | hot | overcast | normal | false | yes |
07-23 | mild | sunny | high | true | no |
07-26 | cool | sunny | normal | true | no |
07-30 | mild | sunny | high | false | yes |
决策树是机器学习中的经典算法,分别由三个经典算法实现:ID3,C4.5,CARTID3,C4.5,CART指数(基尼指数)
对于ID3ID3呢?这就是下面的内容要讨论的。
讨论之前先来几个公式压压惊。
在信息论与概率统计中,熵(entropy)是表示随机变量不确定性的度量[2]。设X的概率分布为
P(X=Xi)=pi,i=1,2,...,nP(X=Xi)=pi,i=1,2,...,n
其实公式看起来挺吓人的,但是计算的时候很简单。拿表一作为计算的例子,假设
p1=Num(no)/(Num(no)+Num(yes))p1=Num(no)/(Num(no)+Num(yes))
条件熵定义为
H(D|A)=∑i=1npiH(Y|A=ai)H(D|A)=∑i=1npiH(Y|A=ai)
经验条件熵,再举一个例子,假如把Outlook作为分隔样本的特征的话,那么
E(Outlook=sunny)=−25log25−35log35=0.971E(Outlook=sunny)=−25log25−35log35=0.971
所以
H(D|A)=514⋅0.971+414⋅0+514⋅0.971=0.693H(D|A)=514⋅0.971+414⋅0+514⋅0.971=0.693
得到了熵和条件熵,那么信息增益就好求了,公式如下
g(D,A)=H(D)−H(D|A)g(D,A)=H(D)−H(D|A)
,信息增益越大说明该特征对于减少样本的不确定性程度的能力越大,也就代表这个特征越好。这种选择特征的思路就是ID3算法选择特征的核心思想。
本来ID3ID3
总结上面的公式,计算得到下表:
OutLook | Temperatrue |
---|---|
Gain:0.940-0.693 = 0.247 | Gain:0.940-0.911 = 0.029 |
Gain ratio: 0.245/1.577 = 0.157 | Gain ratio:0.029/1.557 = 0.019 |
Humidity | Windy |
---|---|
Gain:0.940-0.788 = 0.152 | Gain:0.940-0.911 = 0.029 |
Gain ratio: 0.152/1.000 = 0.152 | Gain ratio:0.048/0.985 = 0.049 |
Day |
---|
Gain ratio:0.940/3.807 = 0.246 |
然而。。。最终还是DayDay的特征优势最大。。。Orz
不过虽然这样,信息增益率还是要比信息增益可靠的多的!另外也可以看出,对特征的筛选也是非常重要的步骤,可以减少信息增益率失效的几率。
[1] http://www.ke.tu-darmstadt.de/lehre/archiv/ws0809/mldm/dt.pdf
[2] 李航. 统计学习方法.