什么是最大信息系数（Maximal Information Coefficient, MIC）

最大信息系数（Maximal Information Coefficient, MIC）是一种用于量化两个变量之间依赖关系强度的统计量，它能够在不同类型的关联中（如线性、非线性、周期性等）提供一致的度量。

MIC算法是由David N. Reshef等人在2011年提出，其目的是为了克服传统相关系数（如皮尔逊相关系数）仅能描述线性关系的局限性。

MIC算法的公式

MIC的定义基于互信息（Mutual Information, MI）的概念，它试图找到一个最优的二维直方图（或称为网格），在这个网格下，两个变量之间的互信息达到最大值。

互信息度量的是两个随机变量之间的依赖程度，当两个变量完全独立时，互信息为零；反之，当两个变量完全依赖时，互信息达到最大。

MIC的计算公式可以表示为：

$$\text{MIC}(X;Y)=\underset{a\ast b<B}{\max }\left[\frac{I(X;Y|a\times b)}{{\log }_2\min (a,b)}\right]$$

其中，

• $X$ 和 $Y$ 是要分析的两个随机变量。
• $I(X;Y|a\times b)$ 是在将 $X$ 和 $Y$ 分别划分为 $a$ 和 $b$ 个箱的网格下， $X$ 和 $Y$ 的互信息。
• $a$ 和 $b$ 是网格在 $X$ 和 $Y$ 方向上的划分格子的个数。
• $B$ 是一个预定义的阈值，通常选择为数据点数量的根号或分数幂次，以控制网格的复杂度。
• ${\log }_2$ 表示以2为底的对数。
• $\min (a,b)$ 是 $a$ 和 $b$ 中较小的一个。

MIC算法的步骤

1. 初始化: 选择一个 $B$ 值，通常是数据点数量 $N$ 的平方根或0.6次方，来限制网格复杂度。
2. 网格搜索: 在所有可能的 $a\times b$ （ $a\ast b<B$ ）网格中计算互信息 $I(X;Y|a\times b)$ 。
3. 计算MIC: 对于每个网格，计算 $\frac{I(X;Y|a\times b)}{{\log }_2\min (a,b)}$ ，并选取所有可能网格下的最大值作为 MIC 的值。

公式解释

• 互信息 $I(X;Y|a\times b)$ 描述了当 $X$ 和 $Y$ 被划分为特定网格后，两个变量之间依赖程度的信息增益。
• 除以 ${\log }_2\min (a,b)$ 这部分的作用是标准化，确保 MIC 的值在 [0,1] 之间。这是因为随着网格细化，互信息有可能无限增长，因此需要除以一个与网格复杂度相关的因子来进行归一化。
• 取最大值 确保了 MIC 能够捕捉到最能揭示两个变量之间关联模式的网格结构。

MIC的值越接近1，表示两个变量之间的关系越强，无论这种关系是线性的、非线性的还是复杂的周期性关系。

相反，如果 MIC 接近0，则表示两个变量几乎独立。

总结

MIC算法通过最大化互信息并标准化结果，提供了一种通用的方法来评估任何类型的数据关系。

它不仅适用于连续变量，也适用于离散变量，甚至混合类型的数据。