机器学习笔记 - 互信息（Mutual Information）

互信息是信息论中一种重要的度量方式，用于衡量两个随机变量之间的相关性。在机器学习中，互信息常被用于特征选择、聚类和降维等任务。本文将介绍互信息的概念和计算方法，并提供相应的源代码示例。

概念

互信息是用来衡量两个随机变量之间的相关性程度的指标。给定两个离散随机变量X和Y，它们的互信息定义为它们联合分布与各自边缘分布之间的差异。互信息可以表示为以下公式：

I(X;Y) = ΣΣ p(x,y) * log(p(x,y) / (p(x) * p(y)))

其中，p(x,y)表示X和Y的联合概率分布，p(x)和p(y)分别表示X和Y的边缘概率分布。

计算方法

为了计算互信息，我们需要估计X和Y的联合概率分布和边缘概率分布。在实际应用中，我们通常使用样本数据来估计概率分布。

以下是一个简单的示例，展示了如何使用Python计算两个离散随机变量的互信息：

import numpy as np

def mutual_information(X