互信息法概念

互信息(Mutual
Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
************************************************************** 对任意随机变量X、Y，其互信息I（X，Y）满足：

一般而言，信道中总是存在着噪声和干扰，信源发出消息x，通过信道后信宿只可能收到由于干扰作用引起的某种变形的y。信宿收到y后推测信源发出x的概率，这一过程可由后验概率p(x|y)来描述。相应地，信源发出x的概率p(x)称为先验概率。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量（简称互信息）

************** 互信息法属于一种过滤算法，此类算法独立于任何模型，仅依赖于数据的统计学特征来评估变量的重要性，主要包括两步：

1. 根据特征评价标准对重要性进行排序，
2. 选择合适的阈值或者变量个数，剔除低阶特征。

代表了一个变量中包含另一个变量的信息量，用于判断变量之间的相关性。假设两个随机变量X 和Y 的联合分布为p (x，y )，边缘分布分别为p
(x) 和p (y )， 则互信息I (X，Y ) 是联合分布p (x，y )与边缘分布p (x)、p (y )的相对熵：