1.理论及相关概念
1.1熵
用来描述随机变量平均信息量,公式为:
1.2联合熵
设x, y是两个离散型随机变量,它们的联合分布密度为p(x, y), 则z 和y 的联合熵定义为:
1.3条件熵
设x, y是两个离散型随机变量,它们的联合分布密度为p(x, y), 则z 和y 的条件熵定义为:
1.4互信息
互信息定义为:<
1.1熵
用来描述随机变量平均信息量,公式为:
1.2联合熵
设x, y是两个离散型随机变量,它们的联合分布密度为p(x, y), 则z 和y 的联合熵定义为:
1.4互信息
互信息定义为:<