概率图模型笔记(6)——Markov Network Fundamentals

6.1 Pairwise Markov Networks

6.1.1 马尔科夫网络：一个节点之间的联系是无向边的网络，每一条边代表一个因子$\Phi(X_i,X_j)$。
6.1.2 联合分布
　　如自然连接一样把两个有共同点的边按照共同点的统一属性对应的因子做乘积。
6.1.3 因子的边缘分布
　　划掉其他因子，剩下因子综合起来即剩下因子的边缘分布。因子的边缘分布可能会被其他更强力的因子淹没掉。

6.2 General Gibbs Distribution

6.2.1 吉布斯分布：将马尔科夫网联合分布归一化，称吉布斯分布(gibbs distribution)。与Pairwise马尔科夫网不同的是，吉布斯分布的辖域允许多变量。
6.2.2 马尔科夫网不能表示变量的所有组合：表示一个$n$个节点，每个节点有$d$个属性的马尔科夫网所需的变量个数为$O(n^2 d^2)$。但如果节点任意搭配所需使用的变量个数是$O(d^n)$。
6.2.3 导出马尔科夫网：所有因子中的两两变量均形成一条边，所得即对应的马尔科夫网。不同因子可能导出同一个网，该网性质无差。
6.2.4 影响力流动：只要两个节点的路径(迹)之间的节点均未被观察，则该迹是激活的，可以有影响力流动。

6.3 Conditional Random Fields

6.3.1 条件随机场：即观察到了一些变量的马尔科夫网，该马尔科夫网剩下的变量的条件概率公式化表示即为条件随机场的公式化表示。该模型可以忽视观察变量之间的相关性，因为它们已经被观察到了。其与吉布斯分布的区别在于归一化方式不一样(归一化因子中的观察变量是常量)。
6.3.2 条件随机场的表示
　　给定观察变量X，则在X与Y共同组成的无向图中如下刻画条件分布：

$$P(Y│X)=\dfrac{\tilde{P}(X,Y)}{Z(X)}$$ $$\tilde{P}(X,Y)=\prod\Phi(D_i)$$ $$Z(X)=\sum_Y\tilde{P}(X,Y)$$
其中， $\Phi(D_i)$为无向图的因子。
6.3.3 线性链条件随机场
　　模型中有二值 $i$个证据变量 $X_i$以及未知二值变量 $Y$。其指示函数为 Φ(X