一、采样
1.important sampling & reject sampling
先从最基本的Inverse CDF方法讲起,故名思意,就是对CDF函数取反的过程,那什么是CDF函数呢?
Cumulative distribution function(CDF):其实就是我们大学本科学过的概率分布。
Probability density function(PDF):其实就是说的概率密度函数,CDF是PDF积分后的结果。
指数分布和0-1均匀分布的CDF
因为计算机一般通过box muller产生伪随机数,得到均匀分布,我们需要有相应的算法,由均匀分布变成想得到的分布形式。
如我需要上图的指数分布f(x)的数据,步骤如下:
1.在y轴上取均匀分布
2.将取到的均匀分布对应与x轴,f-1(x)即所求的指数分布 (f-1(x)为反函数)
。。。。。
未完
2.MCMC
待补充。。。
MCMC的最基本的model就是 :采一个点,根据Markov性质,再采一个,使之分布稳定了,再将后续的采的点当成结果样本
key:1、M-H sampling和reject sampling一起理解比较好理解,α可以理解为接受转移率,和reject的接受率相似
2、Gibbs sampling可以理解为将M-H sampling分解到每一维去做了,一般是进行轮转得到下一个转移点,因为分解到每一维去做是一定满足detail balance condition的,即不需要增加α来考虑是否接受转移,100%转移!
两种MCMC对比下来,Gibbs没有拒绝,不会费了老大力气算了被拒绝了,节约算力;同时Gibbs是从条件分布中采样,M-H的全局分布有时会因为特征维度太大很难采。