MCMC采样

从马尔科夫链的状态转移矩阵的收敛性写起。
矩阵定义：1.元素非负；2.列和为1（或者行和为1）。
如此进行的状态转移才是平稳的，比如100个人在10个城市间迁移，每次迁移完总数还是100个人。
这类矩阵有4个性质：
1.有个特征值为1。这个容易验证，对应特征向量为全1。
2.矩阵的n次方仍然是马尔科夫矩阵。也容易验证和推导。
3.所有特征值的绝对值不大于1。若$\lambda$是A的特征值，则${\lambda }^n$是$A^n$的特征值，而$A^n$仍然是马尔科夫矩阵，$A^{n}x$不可能无限大。
4.对于任意初始$x_0$，马尔科夫过程$A^n{x}_0$最终收敛。
证明：假设$A$有n个特征向量$x_1,x_2,...,x_n$，对应的的特征值为$1,{\lambda }_2,{\lambda }_3,...,{\lambda }_n$.对于任意向量$x_0$总存在常数$c_1,c_2,...,c_n$使得$x_0=c_1{x}_1+...+c_n{x}_n$,则$A^n{x}_0=A^n(c_1{x}_1+...+c_n{x}_n)=c_1{1}^n{x}_1+...c_n{\lambda }^n{x}_n=c_1{x}_1.$收敛，得证.
同时可以知道，对于状态转移矩阵$A$，它的n次幂$A^n$在当n大于一定的值的时候也是确定的，此时特征值为1和0.
可以看到，对于不同的初始状态，最终都会收敛，并且所有的结果只差一个常数，如果将结果归一化，便是唯一的$x_1$。这确实是一个很神奇的性质。因为$A{x}_1=x_1$，一般将这里的$x_1$称作对应马尔科夫链的平稳分布。
基于马尔科夫链的采样过程：
1）输入马尔科夫链状态转移矩阵𝑃，设定状态转移次数阈值𝑛1，需要的样本个数𝑛2
2）从任意简单概率分布采样得到初始状态值𝑥0
3）for 𝑡=0 to 𝑛1+𝑛2−1: 从条件概率分布𝑃(𝑥|𝑥𝑡)中采样得到样本𝑥𝑡+1。样本集(𝑥𝑛1,𝑥𝑛1+1,…,𝑥𝑛1+𝑛2−1)即为我们需要的平稳分布对应的样本集。
由平稳分布求$P$:
需要满足$\pi P=\pi$，即𝜋(𝑖)𝑃(𝑖,𝑗)=𝜋(𝑗)𝑃(𝑗,𝑖)，但是对一般的马尔科夫矩阵Q不满足细致平稳条件，即𝜋(𝑖)𝑄(𝑖,𝑗)≠𝜋(𝑗)𝑄(𝑗,𝑖)。可以引入额外矩阵使得𝜋(𝑖)𝑄(𝑖,𝑗)𝛼(𝑖,𝑗)=𝜋(𝑗)𝑄(𝑗,𝑖)𝛼(𝑗,𝑖)。𝛼(𝑖,𝑗)我们一般称之为接受率。取值在[0,1]之间，即目标矩阵𝑃可以通过任意一个马尔科夫链状态转移矩阵𝑄以一定的接受率获得，实际应用时便是以一定概率接受或拒绝基于𝑄的状态装换。由于𝛼(𝑖,𝑗)可能很小，导致拒绝率高而使得很多结果通不过而浪费掉了。使𝛼(𝑖,𝑗)=𝑚𝑖𝑛{𝜋(𝑗)𝑄(𝑗,𝑖)/𝜋(𝑖)𝑄(𝑖,𝑗),1}可以有效提升。