机器学习笔记之高斯网络(二)高斯贝叶斯网络

引言

上一节介绍了高斯网络及其条件独立性，本节将介绍高斯贝叶斯网络。

回顾

高斯网络

高斯网络最核心的特点是：随机变量集合中的随机变量均是连续型随机变量，并且均服从高斯分布：
已知某随机变量集合$\mathcal{X}$中包含$p$个特征，整个高斯网络中所有结点的联合概率分布服从多元高斯分布：
$$\begin{array}{rl}\mathcal{X}& =(x_1,x_2,\cdots ,x_p{)}^T\\ \mathcal{P}(\mathcal{X})& =\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left[-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right]\end{array}$$
其中期望$\mu$，协方差矩阵$\Sigma$表示如下：
$$\mu ={\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right)}_{p\times 1}\sigma ={\left(\begin{array}{c}{\sigma }_{11},{\sigma }_{12},\cdots ,{\sigma }_{1p}\\ {\sigma }_{21},{\sigma }_{22},\cdots ,{\sigma }_{2p}\\ ⋮\\ {\sigma }_{p1},{\sigma }_{p2},\cdots ,{\sigma }_{pp}\end{array}\right)}_{p\times p}$$

• 随机变量之间的边缘独立性：如果随机变量 x i , x j ( i , j ∈ { 1 , 2 , ⋯   , p } ; i ≠ j ) x_i,x_j (i,j \in \{1,2,\cdots,p\};i\neq j) xi​,xj​(i,j∈{ 1,2,⋯,p};i​=j)对应协方差矩阵的结果$Cov(x_i,x_j)={\sigma }_{ij}=0$，那么称$x_i,x_j$是不相关的。也称$x_i,x_j$边缘独立或者绝对独立：
  $${\sigma }_{ij}=0\Rightarrow x_i\perp x_j$$
• 随机变量之间的条件独立性：如果随机变量 x i , x j ( i , j ∈ { 1 , 2 , ⋯   , p } ; i ≠ j ) x_i,x_j(i,j \in \{1,2,\cdots,p\};i \neq j) xi​,xj​(i,j∈{ 1,2,⋯,p};i​=j)对应精度矩阵(Precision Matrix)结果${\lambda }_{}$