前言:在机器学习和统计学习中,正态分布的身影无处不在,最为常见的是标准正态分布和多元正态分布 (multivariate normal distribution),两者分别作用于标量 (scalar) 和向量 (vector)。实际上,也存在一种正态分布的形式,它作用于矩阵,并广泛地应用于贝叶斯向量自回归模型 (Bayesian vector autoregression) 中。本文接下来将从大家所熟知的正态分布出发,先介绍矩阵正态分布,然后讨论矩阵正态分布在贝叶斯方法中的应用。
1 从标准正态分布到矩阵正态分布
1.1 标准正态分布
正态分布在机器学习和统计学习中随处可见,对于单一的随机变量
,其正态分布的形式为
其中,
表示均值,
表示标准差 (
表示方差)。当然,标准正态分布在我们中学时代就已经接触了。
1.2 多元正态分布
随着我们学习线性代数、概率论等相关课程,我们又认识到:若向量
服从正态分布,则存在一个多元正态分布 (multivariate normal distribution),形式为
其中,
对应着正态分布的均值,
则表示协方差矩阵。
需要说明的是,这里将多元正态分布的指数项写成矩阵迹 (trace) 的形式是为了方面后续认识矩阵正态分布,其中,在多元正态分布的写法中,
是恒成立的。
1.3 矩阵正态分布
除了作用于向量的正态分布,实际上还存在一种正态分布,它作用于矩阵,常见于贝叶斯向量自回归模型 (Bayesian vector autoregression model)。一般而言,对于随机