mh采样算法推导_采样算法简述

1 阅读之前

• 在阅读本文之前请先明确什么是样本。
• 前置：假设一个样本取自分布p(x)，那么我们通常将其记录为
  ，但本文使用的小写字母加下标的方式表示样本
  。
• 前置：单个样本是无法研究分布的，只有样本数量足够时才能研究性质。

2 均匀分布随机数的产生

在获取均匀分布的随机数后可以通过后续的算法来获取其他分部的随机数。最简单的方式是对坐标进行变换。假设

是原始空间中的坐标，而

是变换空间后的坐标。定义函数

和坐标变换：

此时假设函数

为概率密度函数，而到目前为止仅能获取均匀分布的随机数，因此概率密度函数定义为

定义变换：

概率密度函数有积分意义：

变换域面积与原空间面积关系为：

其中

为雅克比，因此函数可以转换为：

所以均匀分布的样本可以产生标准正态分布的样本。
对于坐标变换而言，还有更加通用的方式。假设

是(0-1)区间均匀分布的样本。而我们想获取的分布为

。记录：

定义坐标变换

变量

的累计分布函数为：

所以如果

的话就是所需分布样本。对于难以计算的情况，我们可以使用近似的方式来计算概率：

import numpy as np 
def p(x):
    """