采样方法

一，采样方法
1，接受-拒绝抽样
2，重要性抽样
3，MCMC（马尔可夫链蒙特卡洛方法）：metropolis-hasting算法和它的特例Gibbs采样算法

一，随机模拟的基本思想
1，求不规则面积:
a,分割计算
b，我们抓一把黄豆，把它们均匀地铺在矩形区域，如果我们知道黄豆的总个数S，那么只要我们数数位于不规则区域M中的黄豆个数S1，那么我们就可以求出M的面积：$M=S1*R/S$。

2，求解定积分
$\int_a^bf(x)dx$
采用蒙特卡洛积分，即把上述式子改写为：
$\int_a^bf(x)*g(x)/g(x)dx=\int_a^b(1/g(x))*f(x)*g(x)dx$
把$\frac{f(x)}{g(x)}$当成一个函数，g(x)看出[a,b]上的一个概率分布
抽取n个样本后，可知 ${\sum _1^n [f(x_i)/g(x_i)]}/n$

二，常见的抽样方法
2.0，直接抽样法
2.1，接受-拒绝抽样
这个算法的基本思想是：我们需要对一个分布f(x)进行采样，但是却很难直接进行采样，所以我们想通过另外一个容易采样的分布g(x)的样本，用某种机制去除掉一些样本，从而使得剩下的样本就是来自与所求分布f(x)的样本。
条件：
1）对于任何一个x，有$f(x)\leq Mg(x)$;
2) g(x)容易采样；
3) g(x)最好在形状上比较接近f(x)。
采样过程：
1. 对于g(x)进行采样得到一个样本$x_i, x_i \sim g(x)$;
2. 对于均匀分布采样 $u_i\sim U(a,b)$;
3. 如果$u_i\leq \frac{f(x)}{Mg(x)}$, 那么认为$x_i$是有效的样本；否则舍弃该样本； （# 这个步骤充分体现了这个方法的名字：接受-拒绝）

1. 反复重复步骤1~3，直到所需样本达到要求为止。
   

2.2重要性采样
$\int f(x) dx = \int \frac{f(x)}{g(x)}g(x) dx$
根据上述等式：
抽样步骤如下：
1. 选择一个容易抽样的分布g(x), 从g(x)中抽取N个样本；
2. 计算$\frac{1}{N}\sum_i^N\frac{f(x)}{g(x)}$,从而得到近似解。

2.3,MCMC抽样方法
MCMC方法的基本思想是：如果我们能构造一个转移矩阵为P的马氏链，使得该马氏链的平稳分布恰好是p(x), 那么我们从任何一个初始状态$x_0$出发沿着马氏链转移, 得到一个转移序列 $x_0,x_1,x_...x_n,x_{n+1}...$,， 如果马氏链在第n步已经收敛了，于是我们就得到了 π(x) 的样本$x_n,x_{n+1}⋯$。

背景知识：
马氏链定理
细致平稳条件；如果非周期马氏链的转移矩阵P和分布$\pi(x)$满足：

$$\begin{eqnarray*} \pi(i)P_{ij} = \pi(j)P_{ji} for all i ,j \end{eqnarray*}$$

构造满足条件

假设我们已经有一个转移矩阵为Q马氏链(q(i,j)表示从状态i转移到状态j的概率，也可以写为q(j|i)或者q(i→j)), 显然，通常情况下$p(i)q(i,j)\neq p(j)q(j,i)(*)$

构造一个a(i,j),根据对称性
$a(i,j) = p(j)q(j,i)$ $a(j,i) = p(i)q(i,j)$

使得$p(i)q(i,j)a(i,j) = p(j)q(j,i)a(j,i)$
此时p(i)为平稳分布， α(i,j)称为接受率
理解思路：物理意义可以理解为在原来的马氏链上，从状态i 以q(i,j)的概率转跳转到状态j 的时候，我们以α(i,j) 的概率接受这个转移，于是得到新的马氏链Q′的转移概率为q(i,j)α(i,j)。

MCMC采样算法
采样概率p(x)的算法，假设我们已经又一个转移矩阵Q(对应元素q(i,j))

采样思路借助了重要性采样的思路
2.3.2，Metropolis-Hastings算法
MCMC采样的缺陷：
马氏链Q在转移的过程中的接受率α(i,j) 可能偏小，这样采样过程中马氏链容易原地踏步，拒绝大量的跳转，这使得马氏链遍历所有的状态空间要花费太长的时间，收敛到平稳分布p(x) 的速度太慢。
优化：
思路很简单，将a(i,j),a(j,i)同时扩大一定的倍数，使得
$max{a(i,j),a(j,i)} = 1$
所以得出$a(i,j) = min\{\frac{p(j)q(j,i)}{p(i)q(i,j)},1\}$

2.3.3,Gibbs sampling算法
二维：
gibbs采样只对z是高维（2维以上）情况有效。通过固定某个维度$x_i$,然后通过其他维度$\vec x_{-i}$的值来抽样该维度的值

由于x坐标相同的点$A(x_1,y_1),B(x_1,y_2)$,我们可以发现

$$\begin{eqnarray*} p(x_1, y_1)p(y_2|x_1) = p(x_1)p(y_1|x_1)p(y_2|x_1)\\ p(x_1, y_2)p(y_1|x_1) = p(x_1)p(y_2|x_1)p(y_1|x_1)\\ p(x_1,y_1)p(y_2|x_1)=p(x_1,y_2)p(y_1|x_1) \end{eqnarray*}$$
同理，可知道，两个点无论是平行于x,y轴，两个点之间的转移概率，那么两个点之间的转移满足细致平稳条件。
从而根据下图，构造转移概率矩阵：

构造平面上任意两点之间的转移概率矩阵Q：

可得到二维的细致平稳条件：
对平面上的任意两点X,Y,满足细致平稳条件：
$P(X)Q(X\to Y) = P(Y)Q(Y \to X)$

从转移概率矩阵我们可得转移过程如下：

2.1步是从 (x0,y0)转移到(x0,y1)，满足Q(A→B)=p(yB|x1)的细致平稳条件，所以会收敛到平稳分布；
2.2步是从(x0,y1)转移到(x1,y1)，也会收敛到平稳分布。
也就是整个第2步是从(x0,y0)转移到(x1,y1)，满足细致平稳条件，在循环多次后会收敛于平稳分布，
采样得到的 (xn,yn),(xn+1,yn+1)…就是平稳分布的样本
高维：
高维的原理和二维基本一致：


Gibbs 采样的相关性和独立性
1.马尔科夫链中的连续的样本是高度相关的
2.吉布斯采样可以看做是M-H算法的一个特例，即接受率α=1的情况
3.吉布斯采样收敛的判断
（1）图形方法
（2）蒙特卡洛误差
（3）Gelman-Rubin方法

时间序列基础