LDA学习笔记3-抽样算法

抽样的基本问题是，对于给定目标概率p（x），如何抽取一组满足该分布的变量。在某些问题中可能还有别的约束条件，如iid等。

基本的抽样算法有

1.基本方法

基本思路通过函数变换将一个均匀分布转化为目标分布，缺点是，对函数性质有一定要求，性质较差的可能没有解析解或无法求解。

具体方法是，设原pdf为p（x），其对应的分布函数F（x）。设y=F（x），当y服从0~1的均匀分布，则反函数求x即满足对应pdf

几何说明如下图

2.rejection sampling

这个算法需要先找到一个能够抽样的参照分布（proposal distribution）q（x），使得p(x)<=M*q(x)对任意的x成立，其中M是一个常数

接下来，对q(x)进行抽样，按照均匀分布拒绝掉其中的某些点，剩余的点即满足分布p。

具体算法为