python计算互信息_Maximal Information Coefficient (MIC)最大互信息系数详解与实现

MIC

MIC 即：Maximal Information Coefficient 最大互信息系数。 使用MIC来衡量两个基因之间的关联程度，线性或非线性关系，相较于Mutual Information(MI)互信息而言有更高的准确度。MIC是一种优秀的数据关联性的计算方式。本篇文章将会详细介绍MIC的算法原理，优缺点以及Python的具体实现方式，并给出一个可视化方案。CSDN原文链接

互信息？

互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。这个已经是机器学习中老生常谈的内容了，如果想不起来，请参考百度百科-互信息

MIC的优越性

根据 MIC 的性质，MIC 具有普适性、公平性和对称性。所谓普适性，是指在样本量足够大(包含了样本的大部分信息)时，能够捕获各种各样的有趣的关联，而不限定于特定的函数类型(如线性函数、指数函数或周期函数)，或者说能均衡覆盖所有的函数关系。一般变量之间的复杂关系不仅仅是通过单独一个函数就能够建模的，而是需要叠加函数来表现。所谓公平性，是指在样本量足够大时能为不同类型单噪声程度相似的相关关系给出相近的系数。例如，对于一个充满相同噪声的线性关系和一个正弦关系，一个好的评价算法应该给出相同或相近的相关系数。

算法对比

理解公平性与普适性

对于普适性较好的函数，不同类型的关联关系其起点应当是接近的。而且是接近于一的。

而对于公平性较好的比较方法，随着噪音的增加，不同类型关联关系函数变化应当是相近的。

由上可见，MIC拥有出色的普适性与公正性。

算法原理

mic 基本原理会利用到互信息概念，互信息的概念使用以下方程来说明：

$$I(x;y)=\int p(x,y) log_2 \frac{p(x,y)}{p(x)p(y)}\mathrm{d}x\mathrm{d}y$$ 一般情况下联合概率计算相对来说比较麻烦，要是不记得联合概率可以去这里看看：联合概率

mic 的想法是针对两个变量之间的关系离散在二维空间中，并且使用散点图来表示，将当前二维空间在 x,y 方向分别划分为一定的区间数，然后查看当前的散点在各个方格中落入的情况，这就是联合概率的计算，这样就解决了在互信息中的联合概率难求的问题。下面的公式给出 mic 的计算公式：

$$mic(x;y)=\max_{a*b

算法原理的通俗解释

算法原理或许介绍的还是有点负责，下面还有