机器学习笔记之概率图模型(一)背景介绍

引言

从本节开始将介绍概率图模型。

背景介绍

概率图模型(Probabilistic Graphical Model)并不是指具体的某一种模型，而是一种抽象的模型思想。
这里的图(Graph)和数据结构中的图结构基本相同，只是概率图中的图 是描述概率模型内各数据特征之间关系的一种工具。
换句话说，我们将数据结构中图的结点和边之间的组合赋予概率的意义。将概率模型的一些特点用图的形式表现出来。

这里的概率自然指的是概率模型(Probabilistic Model)。在机器学习中，它提供了一种描述框架，将现实问题(学习任务)归结于基于概率的抽象(计算目标变量，如标签变量对应的概率分布结果)。

而在真实环境中，我们面临的变量可能是复杂的，具体表现在我们面临的数据可能包含高维特征。因此，我们在对随机变量进行假设时，通常将其设定为高维随机变量：
$$\mathcal{X}={\left(x^{(1)},x^{(2)},\cdots ,x^{(N)}\right)}^T={\left(\begin{array}{c}{x}_1^{(1)},x_2^{(1)},\cdots ,x_p^{(1)}\\ x_1^{(2)},x_2^{(2)},\cdots ,x_p^{(2)}\\ ⋮\\ x_1^{(N)},x_2^{(N)},\cdots ,x_p^{(N)}\end{array}\right)}_{N\times p}\to x^{(i)}\in {\mathbb{R}}^p,i=1,2,\cdots ,N$$

在最开始的极大似然估计与最大后验概率估计中介绍的，我们可以将数据集合$\mathcal{X}$看做成概率模型$\mathcal{P}(\mathcal{X})$中产生出的$N$个样本所组成的集合。
这里将$P(\mathcal{X};\theta )$中的$\theta$省略掉，因为并不是使用‘频率学派’的角度考虑该问题。
由于数据集合$\mathcal{X}$共包含$p$个维度，因此概率模型$\mathcal{P}(\mathcal{X})$的概率密度函数表示如下：
$$\mathcal{P}(x_1,$$