机器学习笔记之高斯分布——基于联合概率分布求解条件概率分布
引言
本节将介绍高斯分布相关的推断问题。
回顾
推断任务介绍
在概率图模型——推断任务介绍中提到推断的本质就是求解变量的概率。已知随机变量集合 X \mathcal X X的变量表示如下:
X = ( x 1 , x 2 , ⋯ , x p ) T \mathcal X = (x_1,x_2,\cdots,x_p)^T X=(x1,x2,⋯,xp)T
- 给定联合概率分布 P ( X ) \mathcal P(\mathcal X) P(X)的条件下,求解某一维度 x i ( i = 1 , 2 , ⋯ , p ) x_i(i=1,2,\cdots,p) xi(i=1,2,⋯,p)的边缘概率分布 P ( x i ) \mathcal P(x_i) P(xi):
P ( x i ) = ∑ x 1 , ⋯ , x i − 1 ∑ x i + 1 , ⋯ , x p P ( X ) = ∑ x 1 , ⋯ , x i − 1 ∑ x i + 1 , ⋯ , x p P ( x 1 , ⋯ , x p ) \begin{aligned} \mathcal P(x_i) & = \sum_{x_1,\cdots,x_{i-1}} \sum_{x_{i+1},\cdots,x_p} \mathcal P(\mathcal X) \\ & = \sum_{x_1,\cdots,x_{i-1}} \sum_{x_{i+1},\cdots,x_p} \mathcal P(x_1,\cdots,x_p) \end{aligned} P(xi)=x1,⋯,xi−1∑xi+1,⋯,xp∑P(X)=x1,⋯,xi−1∑xi+1,⋯,xp∑P(x1,⋯,xp) - 假设 X \mathcal X X可分为两个子集 X A , X B \mathcal X_{\mathcal A},\mathcal X_{\mathcal B} XA,XB,并且子集之间满足如下关系:
{ X A ∩ X B = ϕ X A ∪ X B = X \begin{cases} \mathcal X_{\mathcal A} \cap \mathcal X_{\mathcal B} = \phi \\ \mathcal X_{\mathcal A} \cup \mathcal X_{\mathcal B} = \mathcal X\end{cases} { XA∩XB=ϕXA∪XB=X
给定联合概率分布 P ( X ) \mathcal P(\mathcal X) P(X)的条件下,求解集合间的条件概率分布:
Given P ( X ) ⇒ P ( X A ∣ X B ) \text{Given } \mathcal P(\mathcal X) \Rightarrow \mathcal P(\mathcal X_{\mathcal A} \mid \mathcal X_{\mathcal B}) Given P(X)⇒P(XA∣XB) - 最大后验概率推断(MAP Inference),给定联合概率分布,求解某变量的边际概率分布。常用于解码(Decoding)任务中。
这里不过多赘述,具体详见
隐马尔可夫模型——解码问题
概率分布与概率模型
在该系列第一篇文章极大似然估计与最大后验概率估计中,就已经介绍了概率分布和概率模型之间可以看作相同的事物。已知样本集合 X \mathcal X X:
- 概率分布 P ( X ) \mathcal P(\mathcal X) P(X)表示样本集合 X \mathcal X X取值的概率规律;
- 概率模型表示在概率分布 P ( X ) \mathcal P(\mathcal X) P(X)下,通过模型参数采样出若干样本,这些样本组成样本集合 X \mathcal X X。
从采样的角度观察,概率模型中的样本数量是无穷大的,是采不完的;从模型估计的角度观察,除非概率模型极为简单,否则极难得到概率模型的精确解,只能通过有限的样本对概率模型进行估计。
高斯分布(Gaussian Distribution),它既是概率分布,也是概率模型。本节将对高斯分布概率模型的条件概率分布、边缘概率分布进行推断。
在概率图模型中,特别是动态模型中,包含关于高斯分布的条件概率推断过程。如
卡尔曼滤波(线性高斯模型),以及未来要介绍的
[高斯网络]这里挖一个坑,后续来补~
高斯分布推断任务
场景构建
样本集合 X \mathcal X X是包含 p p p维随机变量的随机变量集合,并且 X \mathcal X X服从 p p p维高斯分布:
X ∼ N ( μ , Σ ) = 1 ( 2 π ) p 2 ∣ Σ ∣ 1 2 exp [ − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ] X ∈ R p , Random Variable \begin{aligned} & \mathcal X \sim \mathcal N(\mu,\Sigma) = \frac{1}{(2\pi)^{\frac{p}{2}} |\Sigma|^{\frac{1}{2}}} \exp \left[-\frac{1}{2} (x - \mu)^T\Sigma^{-1}(x- \mu)\right] \\ & \mathcal X \in \mathbb R^p ,\text{Random Variable} \end{aligned} X∼N(μ,Σ)=(2π)2p∣Σ∣211exp[−21(x−μ)TΣ−1(x−μ)]X∈Rp,Random Variable
其中随机变量集合 X \mathcal X X,均值 μ \mu μ,协方差矩阵 Σ \Sigma Σ向量形式表示如下:
X = ( x 1 x 2 ⋮ x p ) p × 1 μ = ( μ 1 μ 2 ⋮ μ p ) p × 1 Σ = ( σ 11 , σ 12 , ⋯ , σ 1 p σ 21 , σ 22 , ⋯ , σ 2 p ⋮ σ p 1 , σ p 2 , ⋯ , σ p p ) p × p \mathcal X = \begin{pmatrix}x_1 \\ x_2 \\ \vdots \\ x_p\end{pmatrix}_{p \times 1}\quad \mu = \begin{pmatrix}\mu_1 \\ \mu_2 \\ \vdots \\ \mu_{p}\end{pmatrix}_{p \times 1} \quad \Sigma = \begin{pmatrix} \sigma_{11},\sigma_{12},\cdots,\sigma_{1p} \\ \sigma_{21},\sigma_{22},\cdots,\sigma_{2p} \\ \vdots \\ \sigma_{p1},\sigma_{p2},\cdots,\sigma_{pp} \end{pmatrix}_{p \times p} X=⎝⎜⎜⎜⎛x1x2⋮xp⎠⎟⎟⎟⎞p×1μ=⎝⎜⎜⎜⎛μ1μ2⋮μp⎠⎟⎟⎟⎞p×1Σ=⎝⎜⎜⎜⎛σ11,σ12,⋯,σ1pσ21,σ22,⋯,σ2p⋮σp1,σp2,⋯,σpp⎠⎟⎟⎟⎞p×p
推导任务描述
任务描述:已知一个多维高斯分布,求解它的边缘概率分布和条件概率分布:
给定了概率分布,意味着给定了‘概率模型’。因而这个多维高斯分布中的‘均值’
μ \mu μ,协方差
Σ \Sigma Σ全部是已知项。
这里将随机变量集合 X \mathcal X X分成两组:
这里只是将随机变量集合分成两组,并不一定是有序的。
X = ( X a X b ) X a ∈ R m ; X b ∈ R n { X a ∩ X b = ϕ X a ∪ X b = X \mathcal X = \begin{pmatrix} \mathcal X_a \\ \mathcal X_b \end{pmatrix}\quad \mathcal X_a \in \mathbb R^m;\mathcal X_b \in \mathbb R^n \quad \begin{cases} \mathcal X_a \cap \mathcal X_b = \phi \\ \mathcal X_a \cup \mathcal X_b = \mathcal X \end{cases} X=(XaXb)Xa∈Rm;Xb∈Rn{
Xa∩Xb=ϕXa