matlab 互信息计算公式,MATLAB计算Mutual information(互信息)函数

1. 概述

首先信息熵的计算公式如下

其中I(X)表示X的信息量

注：这里对数所使用的底，通常是 2, 自然常数e，或是10。当b = 2，熵的单位是bit；当b = e，熵的单位是nat；而当 b = 10,熵的单位是dit。

p(xi)是xi发生的概率英文里面叫做probability mass function，一个随机产生的事件所包含的信息本体数量，只与事件发生的机率相关。事件发生的机率越低，在事件真的发生时，接收到的信息中，包含的信息本体越大。含义是概率为 0 的事件对应的信息大, 反之信息量少，取对数的原因是使得乘积变为求和。信息熵即为信息量的数学期望。

则X，Y的联合信息量可以表示为