前言
上一篇中详细阐述了概率论的几个基本定理——概率密度函数、贝叶斯公式及推断、矩以及归一化积。
本篇将在上一篇的基础上,围绕高斯随机过程展开,详细讨论高斯概率密度函数的定义及相关性质。
高斯概率密度函数
首先,我们先来看一下一维情况下的高斯概率密度函数:
p ( x ∣ μ , σ 2 ) = 1 2 π σ 2 e x p ( − 1 2 ( x − μ ) 2 σ 2 ) p(x|\mu,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}} exp(-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}) p(x∣μ,σ2)=2πσ21exp(−21σ2(x−μ)2)
其中, μ \mu μ为均值, σ 2 \sigma^2 σ2为方差, σ \sigma σ为标准差。
下面我们扩展到多维变量的情况。当随机变量 x ∈ R N x\in R^N x∈RN,多维变量的高斯分布服从 p ( x ∣ μ , Σ ) p(x|\mu,\Sigma) p(x∣μ,Σ),其概率密度函数可写为:
p ( x ∣ μ , Σ ) = 1 ( 2 π ) N d e t Σ e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) p(x|\mu,\Sigma)=\frac{1}{\sqrt{(2\pi)^Ndet\Sigma}} exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) p(x∣μ,Σ)=(2π)NdetΣ1exp(−21(x−μ)TΣ−1(x−μ))
其中, μ ∈ R N \mu\in R^N μ∈RN是均值,这里为矩阵形式, Σ ∈ R N \Sigma\in R^N Σ∈RN是协方差矩阵(对称正定矩阵),其均值与协方差可分别用下式计算:
μ = E [ x ] = ∫ − ∞ ∞ x 1 ( 2 π ) N d e t Σ e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) d x \mu=E[x]=\int_{-\infty}^{\infty}x\frac{1}{\sqrt{(2\pi)^Ndet\Sigma}} exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))dx μ=E[x]=∫−∞∞x(2π)NdetΣ1exp(−21(x−μ)TΣ−1(x−μ))dx
Σ = E [ ( x − μ ) ( x − μ ) T ] = ∫ − ∞ ∞ ( x − μ ) ( x − μ ) T 1 ( 2 π ) N d e t Σ e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) d x \Sigma=E[(x-\mu)(x-\mu)^T]=\int_{-\infty}^{\infty}(x-\mu)(x-\mu)^T\frac{1}{\sqrt{(2\pi)^Ndet\Sigma}} exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))dx Σ=E[(x−μ)(x−μ)T]=∫−∞∞(x−μ)(x−μ)T(2π)NdetΣ1exp(−21(x−μ)TΣ−1(x−μ))dx
习惯上,我们将正态分布(高斯分布)记为:
x ∼ N ( μ , Σ ) x\sim N(\mu,\Sigma) x∼N(μ,Σ)
特别的,当随机变量满足下式时,我们称该随机变量服从标准正态分布,其中 1 1 1代表 N × N N\times N N×N的单位矩阵。
x ∼ N ( 0 , 1 ) x\sim N(0,1) x∼N(0,1)
行列式
细心的人可能发现,上一节中多维高斯概率密度函数中出现了 d e t det det这个符号,在线性代数中,它代表矩阵行列式的值。
线性代数教材中以线性方程组的求解问题出发,推导行列式的由来,这里不作赘述,感兴趣的读者可自行参考线性代数教材。
二阶行列式 A = ∣ a 11 a 12 a 21 a 22 ∣ A=\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22}\end{vmatrix} A=∣∣∣∣a11a21a12a22∣∣∣∣的计算公式如下:
d e t ( A ) = a 11 × a 22 − a 12 × a 21 det(A)=a_{11}\times a_{22}-a_{12}\times a_{21} det(A)=a11×a22−a12×a21
三阶行列式 A = ∣ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ A=\begin{vmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\end{vmatrix} A=∣∣∣∣∣∣a11a21a31a12a22a