Gibbs sampling详细分析

问题描述：

在学习主题模型的时候遇到的采样问题，看了很多博客，我都不能理解，自己想了很久解决了这个问题。
已知： $p(x_i|{\vec{x}}_{\neg i})(i=1,...,n)$
$\vec{x}=(x_1,x_2,x_3,...,x_n)$
${\vec{x}}_{\neg i}=(x_1,...,x_{i-1},x_{i+1},...,x_n)$
求:$p(x_1,x_2,x_3,x_4,x_5,...,x_n)$联合分布的样本

一个通俗的例子：

PDD是个大老板，家里和公司里有各有100辆车，每天早晨上班会从家里出发去距离家2km的公司，他可以选开车或者走路，晚上回家也是一样有两种选择。小黑是一个私家侦探，统计了PDD早晨和晚上是否开车了信息，写在了一张纸上，结果他搞丢了。。。小黑现在只记得自己曾经心里默念的
如果他早晨是开车出去的，呢么晚上开车回来的概率是80%；如果早晨是走路去的，晚上走路的概率是80%；如果晚上是走路回来的，第二天早晨走路的概率是80%；如果晚上是开车回来的，第二天开车的概率是80%
他现在想预测PDD某天的行程，该怎么办？
呢就假设他一年前的第一天是开车去的，然后依照条件概率生成一年的序列，然后求每个情况的概率期望。
接下来看数学部分！！

最简单的二维情况

两个维度，每个维度两个取值。

$Y$ / $X$	0	1	$p(X)$
0	$p_1$	$p_2$	$p_1+p_2$
1	$p_3$	$p_4$	$p_3+p_4$
$p(Y)$	$p_1+p_3$	$p_2+p4$

$p(Y|X)$ 条件概率分布

$X$ / $Y$	0	1
0	$p_1/(p_1+p_3)$	$p_3/(p_1+p_3)$
1	$p_2/(p_2+p_4)$	p 4 / ( p 2 + p 4