互信息及编程计算

互信息及编程计算

信息熵

一个离散的随机变量X的的信息熵定义为：

举例说明

对离散变量X = [-3,-2,-1,0,1,2,3]

#计算信息熵
values,counts = np.unique(X,return_counts=True) #获取唯一值及其对应出现次数
total = np.sum(counts) #总频次
prob = counts/total #每个值出现的概率
inf1 = np.sum(-prob*np.log2(prob)) #信息熵

联合熵

对于服从联合分布为p(x,y)的一对离散随机变量(X,Y)，其联合熵H(X,Y)定义为：

举例说明

对离散变量X = [-3,-2,-1,0,1,2,3] 和 Y =[9,4,1,0,1,4,9]

#求联合熵
xy = np.hstack((ar1.reshape(-1,1),ar2.reshape(-1,1)))
values,counts = np.unique(xy,axis=0,return_counts=True)
print(values)
print(counts)

#计算联合概率
joint_probabilities = counts / np.sum(counts)
#计算联合熵
jon_entro = np.sum(-joint_probabilities*np.log2(joint_probabilities))

互信息

一个变量提供关于另一个变量的信息：

#计算互信息
mutual_info = inf1 + inf2 - jon_entro

归一化互信息

归一化互信息表示为：

#互信息归一化
m = len(values_1)
n = len(values_2)
norm_info = mutual_info/np.log2(min(m,n))