引言
从本节开始将介绍概率图模型。
背景介绍
概率图模型(Probabilistic Graphical Model)并不是指具体的某一种模型,而是一种抽象的模型思想。
这里的图(Graph)和数据结构中的图结构基本相同,只是概率图中的图 是描述概率模型内各数据特征之间关系的一种工具。
换句话说,我们将数据结构中图的结点和边之间的组合赋予概率的意义。将概率模型的一些特点用图的形式表现出来。
这里的概率自然指的是概率模型(Probabilistic Model)。在机器学习中,它提供了一种描述框架,将现实问题(学习任务)归结于基于概率的抽象(计算目标变量,如标签变量对应的概率分布结果)。
而在真实环境中,我们面临的变量可能是复杂的,具体表现在我们面临的数据可能包含高维特征。因此,我们在对随机变量进行假设时,通常将其设定为高维随机变量:
X = ( x ( 1 ) , x ( 2 ) , ⋯ , x ( N ) ) T = ( x 1 ( 1 ) , x 2 ( 1 ) , ⋯ , x p ( 1 ) x 1 ( 2 ) , x 2 ( 2 ) , ⋯ , x p ( 2 ) ⋮ x 1 ( N ) , x 2 ( N ) , ⋯ , x p ( N ) ) N × p → x ( i ) ∈ R p , i = 1 , 2 , ⋯ , N \mathcal X = \left(x^{(1)},x^{(2)},\cdots,x^{(N)}\right)^T = \begin{pmatrix} x_1^{(1)},x_2^{(1)},\cdots,x_p^{(1)} \\ x_1^{(2)},x_2^{(2)},\cdots,x_p^{(2)} \\ \vdots \\ x_1^{(N)},x_2^{(N)},\cdots,x_p^{(N)} \\ \end{pmatrix}_{N\times p} \to x^{(i)} \in \mathbb R^p,i=1,2,\cdots,N X=(x(1),x(2),⋯,x(N))T=⎝
⎛x1(1),x2(1),⋯,xp(1)x1(2),x2(2),⋯,xp(2)⋮x1(N),x2(N),⋯,xp(N)⎠
⎞N×p→x(i)∈Rp,i=1,2,⋯,N
在最开始的极大似然估计与最大后验概率估计中介绍的,我们可以将数据集合 X \mathcal X X看做成概率模型 P ( X ) \mathcal P(\mathcal X) P(X)中产生出的 N N N个样本所组成的集合。
这里将
P ( X ; θ ) P(\mathcal X;\theta) P(X;θ)中的
θ \theta θ省略掉,因为并不是使用‘频率学派’的角度考虑该问题。
由于数据集合 X \mathcal X X共包含 p p p个维度,因此概率模型 P ( X ) \mathcal P(\mathcal X) P(X)的概率密度函数表示如下:
P ( x 1 , x 2 , ⋯ , x p ) \mathcal P(x_1,x_2,\cdots,x_p) P(x1,