在分类问题中,假设有K个类,样本点属于第k类的概率是Pk,则概率分布的基尼系数定义为:
从公式看就是被分对的概率乘以被分错的概率,然后整个的和就是基尼系数。
例如 一个随机事件X ,P(X=0) = 0.5 ,P(X=1)=0.5
那么基尼不纯度就为 P(X=0)*(1 - P(X=0)) + P(X=1)*(1 - P(X=1)) = 0.5
一个随机事件Y ,P(Y=0) = 0.1 ,P(Y=1)=0.9
那么基尼不纯度就为P(Y=0)*(1 - P(Y=0)) + P(Y=1)*(1 - P(Y=1)) = 0.18
很明显 X比Y更混乱,因为两个都为0.5 很难判断哪个发生。而Y就确定得多,Y=0发生的概率很大。而基尼不纯度也就越小。
计算熵:熵越高,混合的数据也越多
一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。
信息熵计算公式是:H(x)=E[I(xi)]=E[ log(1/p(xi)) ]=-∑p(xi)log(p(xi))(i=1,2,..n)。
如果样本具有二元输出属性,其熵的公式为
Entropy(S)=-(p+)*log(p+)-(p-)*log(p-)
其中,p+、p-分别为正例和负例占总记录的比例。