1. 相关性的描述问题
独立性说明两者之间无关系,相关性可以说明两者之间有关系,但这两者之间关系强弱如何度量?我们可以有线性相关系数(皮尔逊积矩相关系数)、卡方检验(此处不谈)和互信息这几个指标来进行量化。
使用线性相关系数的前提自变量与因变量是线性关系,取值范围为[-1,1],负数表示负相关:
ρx,y=cov(X,Y)σX,σY=E[(X−uX)(Y−uY)]σX,σY ρ x , y = c o v ( X , Y ) σ X , σ Y = E [ ( X − u X ) ( Y − u Y ) ] σ X , σ Y
即协方差除以标准差的积。
而互信息是基于信息熵,适用面更广。
2. 信息熵与互信息
2.1 信息熵
信息熵表示要把一个事物弄清楚所需要的信息量的多少。所以,严格意义上来说,熵是表示不确定程度的度量,而非信息量的度量。意思是,熵小的,预测起来更容易。举个例子:一个汉字信息熵大约为8比特,英文的信息熵为4比特,意思是一个汉字所要表达意思的不确定度要大于英文,这说明了英文确实在很多方面表达精确度胜于汉字,因为更容易理解、预测它的意思。相应的,汉字存储压缩度更高,对应的英文原著翻译为中文版往往变薄了许多。
香农指出了信息熵必须满足费复兴,单调性,可加性这三种性质,并给出满足这三条性质的一种定义(当然也是目前唯一大家都用的定义):
H(X)=−∫XP(X)log(P(X)) H ( X ) = − ∫ X P ( X ) l o g ( P ( X ) )
P(X)是X的出现概率,即X分布越离散,X的状态数越多,信息熵越大。
#### 2.2 互信息:
互信息度量知道X,Y这两个变量其中一个,对另一个不确定度减少的程度,其定义为
I(X,Y)=∫x∫yP(X,Y)logP(X,Y)