离散特征之间的相关性

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sky88088/article/details/51737136

  在数据挖掘的时候,有时候我们会想计算不同特征之间的相关,比如在建模时用来减少冗余特征。连续特征之间的相关性很简单,用皮尔逊相关就可以了,是非常通用且有效的方法。但是在实践里面,大部分时候我们处理的是离散特征,所以这里想提出一个离散特征之间的相关计算办法。这是之前在看决策树C4.5的时候想到的一个思路,就是离散特征之间的相关,可以用决策树的经典算法中的信息增益和信息增益比来描述。

  假定有一组数据集S,两个离散特征分别为A和B。Entropy(SA)表示使用特征A对数据集S进行分类后,所对应的信息熵(如果是在分类问题里,那么这个特征A就是希望学会的分类)。信息熵的形式为


这里写图片描述

p(i)是特征A中,样品属于第i类的概率。如果样品都属于一个类别,那么Entropy(SA)=0,相反,样品类别越多,分布越均匀,则信息熵越大,也可以说这组数据的不纯度越高。比如A代表是否会打篮球这个特征,如果样品都是会打的,那么纯度就很高。

  决策树算法中的信息增益,被定义为


这里写图片描述

这个式子看起来有点复杂,其中Gain(SA_B)表示加入特征B分类之后的信息增益,i是根据特征B来分类的第i个类别,Bi是第i个类别的样品集合,|Bi|就是第i个类别的样品数目,|S|是总样品数,最后Entropy(SA_Bi)指的是对于在第i个类别的样品集,使用A来分类得到的信息熵。

  可以想象,如果A和B两个特征对S的分类是完全一致的,那么对于B所分的每一类数据子集,对A再进行分类也就归为一类,所以其信息熵Entropy(SA_Bi)全部为0,因而信息增益最大。A与B的分类越相似,信息增益的值也就越大,所以信息增益实际上就反映了A和B之间的相关。事实上,信息增益对于A、B也是对称的,即Gain(SA_B)=Gain(SB_A)。

  可惜的是,信息增益有着一个巨大的缺点,那就是对于分类数目多的特征有不正确的偏向。比如若对于S对于特征B是每一个样品一个类别,那么显然信息增益也是最大,但这样的结果不是我们想要得到的。为了解决这个问题,非常直观地就会想到要根据特征本身的分类情况进行标准化,具体而言就是要除以这个分类的信息熵,亦即


这里写图片描述

  在做决策树分类的时候这样是可行的,但是要用来描述A和B的相关则不行,因为信息增益对于A,B不对称。解决的方法也十分简单,就是改为去除以A和B的信息熵的乘积的开方


这里写图片描述

如此,我们就可以得到离散特征之间的相关程度了。

  这里的思路其实非常简单,决策树每次选择不同特征进行分叉,本质上依据的就是特征跟目标分类之间的相关性,因此这种算法当然可以用于计算离散特征之间的相关。

没有更多推荐了,返回首页