18 高斯网络

18 高斯网络

18.1 高斯网络介绍

概率图模型可以分成主要的几部分：

• Bayesian Network
• Markov Network
• Gaussian Network——连续性的概率图模型：
  • Gaussian Bayesian Network
  • Gaussian Markov Network

高斯网络的特点有：

1. 假设每个节点通过$x_i$表示图中的每个节点都服从高斯分布：$x_i\backsim N({\mu }_i,{\Sigma }_i)$。

2. 一张高斯图可以表示为$X=(x_1,x_2,\dots ,x_p{)}^T$​，并且图与高维高斯分布对应：
   p ( x ) = 1 ( 2 π ) p 2 ∣ Σ ∣ 1 2 ⋅ exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } p(x) = \frac{1}{(2\pi)^{\frac{p}{2}} {|\Sigma|}^{\frac{1}{2}}} \cdot \exp{\lbrace -\frac{1}{2}{(x-\mu)}^T \Sigma^{-1} (x-\mu) \rbrace} p(x)=(2π)2p​∣Σ∣21​1​⋅exp{−21​(x−μ)TΣ−1(x−μ)}

3. 具有高斯分布的性质，已知$\Sigma =({\sigma }_{ij}{)}_{p\times p}$​：
   $$x_i\perp x_j⟺{\sigma }_{ij}=0$$

4. 具有图的性质——条件独立性$X_A\perp X_B|X_C$，定义精度矩阵$\Lambda ={\Sigma }^{-1}=({\lambda }_{ij}{)}_{p\times p}$（称为precision matrix/ information matrix），则条件独立性定义为：
   x i ⊥ x j ∣ X − { x i , x j }    ⟺    λ i j = 0 x_i \bot x_j|_{X-{\lbrace x_i, x_j \rbrace}} \iff \lambda_{ij} = 0 xi​⊥xj​∣X−{xi​,xj​}​⟺λij​=0

18.2 Gaussian Bayesian Network——高斯有向图

高斯贝叶斯网络的案例——Kalman Filter：

• 链式的，特殊的GBN

• 和HMM相同，$\lambda =(\pi ,A,B)$，同时满足高斯：
  $$\{\begin{array}{l}{x}_t|x_{t-1}\backsim N(x_t|A{x}_{t-1}+B,Q)\\ y_t|x_t\backsim N(y_t|C{x}_t+D,R)\end{array}$$
  和线性：
  $$\{\begin{array}{l}{x}_t=A{x}_{t-1}+B+\epsilon ,\epsilon \backsim N(0,Q)\\ y_t=C{x}_t+D+\sigma ,\sigma \backsim N(0,R)\end{array}$$

GBN的因子分解：

• Bayesian Network的性质有一条因子分解：
  $$P(x)=\prod _{i=1}^{p}P(x_i|x_{pa(i)})$$

• GBN(global model)基于线性高斯模型(local model)：
  $$\{\begin{array}{l}P(x)=N(x|{\mu }_x,{\Sigma }_x)\\ p(y|x)=N(y|Ax+B,{\Sigma }_y)\end{array}$$

• 在$x_i$是一维的情况下，可以得到：
  $$\begin{array}{rl}& \{\begin{array}{l}P(x)={\prod }_{i=1}^{p}P(x_i|x_{pa(i)})\\ x_{pa(i)}={(x_1,x_2,\dots ,x_K)}^T\end{array}\\ ⟹& \{\begin{array}{l}{x}_i|x_{pa(i)}\backsim N(x_i|{\mu }_i+w_i^T{x}_{pa(i)},{\sigma }_i^2)\\ x_i-{\mu }_i={\sum }_{j\in x_{pa(i)}}{w}_{ij}(x_j-{\mu }_j)+{\sigma }_i{\epsilon }_i,{\epsilon }_i\backsim N(0,1)\end{array}\end{array}$$
  可以一看的出来$i,j$之间有线性关系，实际上是线性高斯模型。化成$x_i-{\mu }_i$的形式是为了简化运算，因为这样等同于将Gaussian Disk平移到了原点。

18.3 Gaussian Markov Network——高斯无向图

高斯马尔可夫网络的因子分解：

• 目前有什么条件呢：
  { p ( x ) = 1 ( 2 π ) p 2 ∣ Σ ∣ 1 2 ⋅ exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } p ( x ) = 1 Z ∏ i = 1 p φ i ( x i ) ⏟ node potential ⋅ ∏ i , j ∈ x φ i , j ( x i , x j ) ⏟ edge potential \begin{cases} p(x) = \frac{1}{(2\pi)^{\frac{p}{2}} {|\Sigma|}^{\frac{1}{2}}} \cdot \exp{\lbrace -\frac{1}{2}{(x-\mu)}^T \Sigma^{-1} (x-\mu) \rbrace} \\ p(x) = \frac{1}{Z} \prod_{i=1}^p \underbrace{\varphi_i(x_i)}_{\text{node potential}} \cdot \prod_{i, j \in x} \underbrace{\varphi_{i, j}(x_i, x_j)}_{\text{edge potential}} \end{cases} ⎩ ⎨ ⎧​p(x)=(2π)2p​∣Σ∣21​1​⋅exp{−21​(x−μ)TΣ−1(x−μ)}p(x)=Z1​∏i=1p​node potential φi​(xi​)​​⋅∏i,j∈x​edge potential φi,j​(xi​,xj​)​​​

• 我们的目的是将他们结合起来，我们来看一下上面的公式有什么性质（已知$x=(x_1,x_2,\dots ,x_p{)}^T,\Lambda ={\Sigma }^{-1}={({\lambda }_{ij})}_{p\times p}$，且$\Sigma$为对称矩阵）：
  p ( x ) ∝ exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } = exp ⁡ { − 1 2 ( x T Λ x − x T Λ μ ⏟ 1 × 1 − μ T Λ x ⏟ 1 × 1 + μ T Λ μ ) } = exp ⁡ { − 1 2 ( x T Λ x − 2 μ T Λ x + μ T Λ μ ⏟ 与 x 无关 ) } ∝ exp ⁡ { − 1 2 x T Λ x ⏟ 二次项 − ( Λ μ ) T x ⏟ 一次项 } \begin{align} p(x) &\propto \exp{\lbrace -\frac{1}{2}{(x-\mu)}^T \Sigma^{-1} (x-\mu) \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} (x^T \Lambda x - \underbrace{x^T \Lambda \mu}_{1 \times 1} - \underbrace{\mu^T \Lambda x}_{1 \times 1} + \mu^T \Lambda \mu) \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} (x^T \Lambda x - 2 \mu^T \Lambda x + \underbrace{\mu^T \Lambda \mu}_{与x无关}) \rbrace} \\ &\propto \exp{\lbrace \underbrace{-\frac{1}{2} x^T \Lambda x}_{二次项} - \underbrace{{(\Lambda \mu)}^T x}_{一次项} \rbrace} \\ \end{align} p(x)​∝exp{−21​(x−μ)TΣ−1(x−μ)}=exp{−21​(xTΛx−1×1 xTΛμ​​−1×1 μTΛx​​+μTΛμ)}=exp{−21​(xTΛx−2μTΛx+与x无关 μTΛμ​​)}∝exp{二次项 −21​xTΛx​​−一次项 (Λμ)Tx​​}​​
  其中我们将$\Lambda$称为precisian matrix，$\Lambda \mu$称为potential vector，且假设$\Lambda \mu =h={(h_1,h_2,\dots ,h_p)}^T$：

• 我们在Markov Network中的node potential与$x_i$相关，edge potential与$x_i,x_j$相关，所以从上文中可以发现在Gaussian中势函数所表示的东西：
  与$x_i$相关（有$x$的项都可以）：
  $$x_i:-\frac{1}{2}{x}_i^2{\lambda }_{ii}-h_i{x}_i$$
  与$x_i,x_j$​​相关（必须是二次项，且要考虑两种顺序）：
  $$x_i,x_j:-\frac{1}{2}({\lambda }_{ij}{x}_i{x}_j+{\lambda }_{ji}{x}_j{x}_i)=-{\lambda }_{ij}{x}_i{x}_j$$

总结一下GMN的性质：

1. 在Gaussian中——绝对独立（marginal independent）：
   $$x_i\perp x_j,\Sigma =({\sigma }_{ij})⟺{\sigma }_{ij}=0$$

2. 在上文中得出的条件独立——条件独立：
   x i ⊥ x j ∣ − { x i , x j } , Λ = Σ − 1 = ( λ i j )    ⟺    λ i j = 0 {x_i \bot x_j|}_{- {\lbrace x_i, x_j \rbrace}}, \Lambda = \Sigma^{-1} = (\lambda_{ij}) \iff \lambda_{ij} = 0 xi​⊥xj​∣−{xi​,xj​}​,Λ=Σ−1=(λij​)⟺λij​=0

3. 在任意无向图中：
   ∀ x i , x i ∣ − { x i } ⏟ 条件概率分布 ∽ N ( ∑ j ≠ i λ i j λ i i x j , λ i i − 1 ) \forall x_i, \underbrace{{x_i|}_{-{\lbrace x_i \rbrace}}}_{条件概率分布} \backsim N(\sum_{j \neq i} \frac{\lambda_{ij}}{\lambda_{ii}} x_j, \lambda_{ii}^{-1}) ∀xi​,条件概率分布 xi​∣−{xi​}​​​∽N(j=i∑​λii​λij​​xj​,λii−1​)
   可以发现$x_i$可以看作与之相连的$x_j$的线性组合