Alias method 别名算法

以下内容来自转载:

因为需要用到Alias Sampling Method的方法,但是查了一下,发现没有找到靠谱的关于Alias Method的中文介绍,所以干脆自己写一个好了。 
关于Alias Method的介绍的比较好的是一个外国Blog:Darts, Dice, and Coins: Sampling from a Discrete Distribution,以下的介绍也主要参考这篇Blog里的算法。

问题:比如一个随机事件包含四种情况,每种情况发生的概率分别为:  12,13,112,112 ,问怎么用产生符合这个概率的采样方法。

最容易想到的方法

我之前有在【数学】均匀分布生成其他分布的方法中写过均匀分布生成其他分布的方法,这种方法就是产生0~1之间的一个随机数,然后看起对应到这个分布的CDF中的哪一个,就是产生的一个采样。比如落在0~  12 之间就是事件A,落在 12 ~ 56 之间就是事件B,落在 56 ~ 1112 之间就是事件C,落在 1112 ~1之间就是事件D。 
但是这样的复杂度,如果用BST树来构造上面这个的话,时间复杂度为 O(logN) ,有没有时间复杂度更低的方法。 

一个Naive的办法

一个Naive的想法如下:  
这里写图片描述 
1. 可以像上图这样采样,将四个事件排成4列:1~4,扔两次骰子,第一次扔1~4之间的整数,决定落在哪一列。 
这里写图片描述 
2. 如上如所示,将其按照最大的那个概率进行归一化。在1步中决定好哪一列了之后,扔第二次骰子,0~1之间的任意数,如果落在了第一列上,不论第二次扔几,都采样时间A,如果落在第二列上,第二次扔超过 23 则采样失败,重新采样,如果小于 23 则采样时间B成功,以此类推。 
3. 这样算法复杂度最好为 O(1) 最坏有可能无穷次,平均意义上需要采样 O(N)

那怎么去改进呢?

Alias Method

这样Alias Method采样方法就横空出世了 
这里写图片描述 
还是如上面的那样的思路,但是如果我们不按照其中最大的值去归一化,而是按照其均值归一化。即按照 1N (这里是$\frac{1}{4})归一化,即为所有概率乘以N,得到如下图: 
这里写图片描述 
其总面积为N,然后可以将其分成一个1*N的长方形,如下图:  
这里写图片描述 
将前两个多出来的部分补到后面两个缺失的部分中。 
先将1中的部分补充到4中: 
这里写图片描述 
这时如果,将1,2中多出来的部分,补充到3中,就麻烦了,因为又陷入到如果从中采样超过2个以上的事件这个问题中,所以Alias Method一定要保证:每列中最多只放两个事件 
所以此时需要讲1中的补满3中去: 
这里写图片描述 
再将2中的补到1中: 
这里写图片描述 
至此整个方法大功告成 
Alias Method具体算法如下: 
1. 按照上面说的方法,将整个概率分布拉平成为一个1*N的长方形即为Alias Table,构建上面那张图之后,储存两个数组,一个里面存着第 i 列对应的事件 i 矩形站的面积百分比【也即其概率】,上图的话数组就为Prab[ 23 1 13 13 ],另一个数组里面储存着第 i 列不是事件 i 的另外一个事件的标号,像上图就是Alias[2 NULL 1 1] 
2.产生两个随机数,第一个产生1~N 之间的整数i,决定落在哪一列。扔第二次骰子,0~1之间的任意数,判断其与Prab[i]大小,如果小于Prab[i],则采样i,如果大于Prab[i],则采样Alias[i]

这个算法是不是非常的精妙而且简洁,做到了 O(1) 事件复杂度的采样。但是还有一个问题是,如何去构建上面的第1步?即如何去拉平整个概率分布?这样预处理的时间复杂度又是多少呢?

Alias Method程序化构建

Naive方法

构建方法: 
1.找出其中面积小于等于1的列,如i列,这些列说明其一定要被别的事件矩形填上,所以在Prab[i]中填上其面积 
2.然后从面积大于1的列中,选出一个,比如j列,用它将第i列填满,然后Alias[i] = j,第j列面积减去填充用掉的面积。

以上两个步骤一直循环,直到所有列的面积都为1了为止。

存在性证明

那么Alias Table一定存在吗,如何去证明呢? 
要证明Alias Table一定存在,就说明上述的算法是能够一直运行下去,直到所有列的面积都为1了为止,而不是会中间卡住。 
一个直觉就是,这一定是可以一直运行下去的。上述方法每运行一轮,就会使得剩下的没有匹配的总面积减去1,在第n轮,剩下的面积为N-n,如果存在有小于1的面积,则一定存在大于1的面积,则一定可以用大于1的面积那部分把小于1部分给填充到1,这样就进入到了第n+1轮,最后一直到所有列面积都为1。 
更为严谨的证明见上面给出的那个Blog。

更快的构建方法

如果按照上面的方法去构建Alias Table,算法复杂度是 O(n2) 的,因为最多需要跑N轮,而每跑一轮的最大都需要遍历N次。一个更好的办法是用两个队列A,B去储存面积大于1的节点标号,和小于1的节点标号,每次从两个队列中各取一个,将大的补充到小的之中,小的出队列,再看大的减去补给之后,如果大于1,继续放入A中,如果等于1,则也出去,如果小于1则放入B中。 
这样算法复杂度为 O(n)

至此Alias Method就讲完了,感觉还是一个非常精妙的方法,而且方法实现起来也非常的简单。值得学习。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值