Gibbs 采样定理的若干证明

坐标平面上的三点，$A(x_1,y_1),B(x_1,y_2),C(x_2, y_1)$，假设有概率分布 $p(x,y)$（$P(X=x,Y=y)$ 联合概率），则根据联合概率与条件概率的关系，则有如下两个等式：

$$\left\{ \begin{split} p(x_1,y_1)p(y_2|x_1)=p(x_1)p(y_1|x_1)p(y_2|x_1)\\ p(x_1,y_2)p(y_1|x_1)=p(x_1)p(y_2|x_1)p(y_1|x_1) \end{split} \right.$$

因此有：

$$p(x_1,y_1)\cdot p(y_2|x_1)=p(x_1,y_2)\cdot p(y_1|x_1)$$

对于此坐标平面上的三点而言，即为：$p(A)\cdot p(y_2|x_1)=p(B)\cdot p(y_1|x_1)$，其本质意义在于 $x=x_1$ 这条平行于 $y$ 轴（垂直于 $x$ 轴）的直线上，如果使用条件分布 $p(\cdot |x_1)$ 作为任意两点间的转移概率，则两点间的转移满足细致平稳条件（$p(i)q(i, j) = p(j)q(j,i)$等式左边是 A 转移到 B，等式右边则是 B 转移到 A）。

同理：

$$p(A)p(x_2|y_1)=p(C)p(x_1|y_1)$$

更多关于 Gibbs 采样的知识请见：深度学习基础（七）—— Gibbs 采样