Message Passing, Belief propagation

1.问题描述

给定一个联合分布$P_{X_1{X}_2...X_n}$， 我们希望计算边缘分布$P_{X_i}=\prod _{x_j:j\ne i}{P}_{X_1{X}_2...X_n}(x_1{x}_2...)$，显然这是指数复杂度$O(|\mathcal{X}{|}^{n-1})$， 求解困难。

对于这样一类分布
$$P_{X_1{X}_2...X_n}=P_{X_{S_1}}{P}_{X_{S_2}}...P_{X_{S_k}}$$
其中 S i ⊂ { 1 , 2 , . . . , n } , ∣ S i ∣ < < n , S i ∩ S j ≠ ∅ S_i\sub \{1,2,...,n\}, |S_i|<<n,S_i\cap S_j\neq \empty Si​⊂{1,2,...,n},∣Si​∣<<n,Si​∩Sj​​=∅, 可以采用message passing来计算边缘分布。