机器学习笔记之高斯网络(一)基本介绍

引言

本节将介绍高斯网络

回顾：

条件独立性

在概率图模型——背景介绍中介绍了条件独立性，条件独立性的核心思想是：给定某随机变量集合${\mathcal{X}}_{\mathcal{A}}$的条件下，可能存在随机变量集合${\mathcal{X}}_{\mathcal{B}},{\mathcal{X}}_{\mathcal{C}}$内部结点之间存在关联，但${\mathcal{X}}_{\mathcal{B}},{\mathcal{X}}_{\mathcal{C}}$之间不存在关联：
$${\mathcal{X}}_{\mathcal{B}}\perp {\mathcal{X}}_{\mathcal{C}}\mid {\mathcal{X}}_{\mathcal{A}}$$
并且${\mathcal{X}}_{\mathcal{A}},{\mathcal{X}}_{\mathcal{B}},{\mathcal{X}}_{\mathcal{C}}$是三个不相交的特征集合。

概率图模型

在概率图模型——背景介绍中介绍了概率图模型(Probabilisitc Graphical Model,PGM)。从图的表示角度观察，它可以分为有向图和无向图两种：

• 基于有向图的概率图模型又称贝叶斯网络(Bayesian Network)，也称信念网络(Belief Network)。
  从条件独立性的角度观察，贝叶斯网络的条件独立性表达包含三种经典情况：

  • 同父结构(Common Parent)，对应概率图结构表示如下：
    
    上图结构表现的现象是：给定结点$i_1$的取值，结点$i_2,i_3$条件独立。
    $$i_2\perp i_3\mid i_1$$
  • 顺序结构(Sequence)，对应概率图结构表示如下：
    
    上图结构表现的现象是：给定结点$i_2$的取值，结点$i_1,i_3$相互独立。
    $$i_1\perp i_3\mid i_2$$
  • $\mathcal{V}$型结构(V-Structure)，对应概率图结构表示如下：
    
    该结构表现的现象是：给定$i_3$结点的条件下，$i_1,i_2$必不独立；相反，$i_3$取值未知的条件下，$i_1,i_2$相互独立。
    $$i_3\mid i_1\perp i_2$$

• 基于无向图的概率图模型又称马尔可夫网络(Markov Network)，也称马尔可夫随机场(Markov Random Field)。
  相比于贝叶斯网络，马尔可夫随机场中描述变量之间的依赖关系 仅包含一种格式：
  
  该结构表现的现象是：给定$i_1$结点的条件下，结点$i^{}$