概率基础——矩阵正态分布matrix normal distribution

最近碰到了这个概念，记录一下

矩阵正态分布是一种推广的正态分布，它应用于矩阵形式的数据。矩阵正态分布在多维数据分析、贝叶斯统计和机器学习中有广泛的应用。其定义和性质如下：

定义

设 $\mathbf{X}$ 是一个 $n\times m$ 的随机矩阵，如果 $\mathbf{X}$ 服从矩阵正态分布，记作 $\mathbf{X}\sim \mathcal{M}\mathcal{N}(\mathbf{M},\mathbf{U},\mathbf{V})$，那么其概率密度函数为：

$$f(\mathbf{X}|\mathbf{M},\mathbf{U},\mathbf{V})=\frac{\exp \left(-\frac{1}{2}\mathrm{tr}\left[{\mathbf{V}}^{-1}(\mathbf{X}-\mathbf{M}{)}^{\top }{\mathbf{U}}^{-1}(\mathbf{X}-\mathbf{M})\right]\right)}{(2\pi {)}^{\frac{nm}{2}}|\mathbf{V}{|}^{\frac{n}{2}}|\mathbf{U}{|}^{\frac{m}{2}}},$$

其中：

• $\mathbf{M}$ 是 $n\times m$ 的均值矩阵。
• $\mathbf{U}$ 是 $n\times n$ 的协方差矩阵，描述了行之间的协方差结构。
• $\mathbf{V}$ 是 $m\times m$ 的协方差矩阵，描述了列之间的协方差结构。

性质

1. 均值和协方差：

   • $\mathbb{E}[\mathbf{X}]=\mathbf{M}$
   • $\mathrm{Cov}(\mathrm{vec}(\mathbf{X}))=\mathbf{V}\otimes \mathbf{U}$

   其中 $\mathrm{vec}(\mathbf{X})$ 表示将矩阵 $\mathbf{X}$ 展平为一个列向量，$\otimes$ 表示 Kronecker 乘积。

2. 条件分布：

   • 如果对 $\mathbf{X}$ 的行或列进行条件化，条件分布仍然是矩阵正态分布。

3. 独立性：

   • 如果 $\mathbf{U}$ 和 $\mathbf{V}$ 都是对角矩阵，那么矩阵中的元素是独立的。

4. 边际分布：

   • 如果 $\mathbf{X}\sim \mathcal{M}\mathcal{N}(\mathbf{M},\mathbf{U},\mathbf{V})$，那么 $\mathbf{X}$ 的任意一行或任意一列的分布是多元正态分布。例如， $\mathbf{X}$ 的第 $i$ 行的分布为 $\mathcal{N}({\mathbf{X}}_{i\ast },V)$，其中 ${\mathbf{X}}_{i\ast }$ 是第 $i$ 行的均值向量。

应用

1. 多变量统计分析：

   • 在多变量统计分析中，用于描述和估计多元数据的协方差结构。

2. 贝叶斯统计：

   • 在贝叶斯统计中，作为先验分布和后验分布的一部分，用于处理矩阵形式的数据。

3. 机器学习：

   • 在机器学习中，特别是在高斯过程回归和多元线性回归中，用于建模和预测矩阵形式的数据。