抽样概率machine learning sampling 采样

首先声明，我是一个菜鸟。一下文章中现出技术误导情况盖不负责

今天在微博上瞥见

    晨风_机器学习

    放大招，写了一系列关于样采的识知，一个一个读不方便，就把它转载到这里。

#抽样那些事#

    这里头引用了多许

     LDA-math-MCMC 和 Gibbs Sampling

    中的内容。

    晨风_机器学习

    大神写的比拟简精，但如果是刚触接样采，可以直接看

    LDA-math-MCMC 和 Gibbs Sampling，这里头有很细详并且浅显易懂的描述（连我种这菜鸟都能看懂o(╯□╰)o）

这里头我为认最出彩的是绍介了

    Gibbs Sampling 和Em的联系。

    Gibbs Sampling 可以为认是EM的一个变种。

另外，抽样在PRML 的sampling章节  中有很细详的描述，上面的有些内容和图近似可以为认就是从PRML中摘出来的。但现在没看懂PRML sampling 的内容很多是因为没有样采的观点，家出路半学machine learning的程序猿真心酸不起。所以，有优良的母语 machine learning文章，真的要分十惜珍%>_<%。

ps：标原创只是想尝尝csdn的布发到页首的功能，望希能有更多的欢喜machine learning的人能看到有些的技术文章。

#抽样那些事#

1. 很多时候，我们只能获得一个离散的、或者连续的匀均分布，例如线性同余法弄出来的伪随机数。

2. 对于一些简略的非匀均分布，可以借助匀均分布，应用cdf求逆的方法 行进抽样。

3. 对于庞杂一点的分布，可以应用造构法行进抽样；例如如果应用硬币（匀均的）造构出一个（1/4,3/4）的非匀均分布出来。再比如，应用Box-Muller Method 借助匀均分布造构出高斯分布出来。

4. 再庞杂一点的、但是单点可以盘算的分布p，即给定z，可求出p(z)，可以应用Rejection Sampling行进抽样：造构一个kq(z)，老是盖过p(z)，q(z)可抽样，例如高斯分布。抽样z0~q(z)=>kq(z0)>=p(z0)，再抽样一个u0~匀均分布(0,1)，根据kq(z0)和p(z0)的比例关系，定确是不是拒绝z0。

5. 对于 Rejection Sampling，如果q(z)不能很好近逼p(z)，拒绝率较高。在一些情况下，可以实验Adaptive Rejection Sampling，造构一个适合的q(z)。低降拒绝率。

6. 有时候抽样是为了盘算期望，这样就崩这么费事，上Importance Sampling。弄一个适合的q(z)出来抽样，然后开算。

7. 扯点闲篇，Markov Chain，对于一个概率转移矩阵P，如果P(i,j)表现意任态状i转移到态状j的概率，都>0。则P^n->P’，P'的每一行量向π(即pi)都一样；对于意任初始态状π0，都有π0*P^n->π；特别地，已进入稳态后，πP=π；

8. πP=π，即π是P转置的特征量向，对应特征值是1. 实际上，这样全连通条件下的P，转置后最大特征值为1. 收敛的速度取决于次大特征值。π量向的每一维的值，表现稳态后续持转移的情况下，现出对应态状的概率。每个转移蹦出来的state，是同分布的，但是不立独； 

9. 假设页网全接连，终究π中每个值就对应一个页网被浏览的概率，可以评估重要性，即静态分。页网之前的超链形成转移边，但是一不定是全接连；PageRank假设户用浏览页网i时有a的概率按照超链续继浏览，1-a的概率关闭页网，新重等概率浏览全网页网，形玉成接连，保障收敛。 

10. 等概率新重浏览全网页网不合理，比如A更趋向于新重打开微博，B更欢喜新重打开草榴；解决方案是TopicRank，牢固一组Topic，独单算PageRank。给定户用A，先判断P(topic|A)，再做后续策略；相似这招还可以用作推荐系统；Topic是已买物品，即起始点；边可所以买了又买，或者是起一购置 

11. 回到抽样，rejection sampling蛮好，但拒绝率在高维情况下会被放大，简直就是难灾。假设要抽样分布π(i)，假设能造构出一个转移矩阵P，使得π(i)P(i,j)=π(j)P(j,i)，则有πP=π，那就可以随意给个初始态状，按照P，转移啊转移，进入稳态后，每一步转移蹦出来的state~π(i)，但不立独 

12. 这个矩阵好不弄；先弄个参考转移矩阵q(i,j)先，如此这般，再凑一个a(i,j)，终究等式满意。意注，q(i,j)是可盘算的，a(i,j)=p(j)q(j,i)里头的p(j)也是可盘算的（同等rejection sampling），即a(i,j)可盘算，终究矩阵造形成完。 

13.a(i,j)的直观义意当相于在q(i,j)弄定后还要再闯一概率关才能完全态状转移，否则下一个态状于等前一个态状，如果a(i,j)太小不利于倏地进入稳态；好在可以对a(i,j)和a(j,i)同比例放大，免避过量原地踏步。@rickjin 

    每日一道理
无知者为梦想中的虚幻而苦苦等待，换回的不是所求的，而是岁月在脸上留下的印痕，一事无成的人一生便是虚度。生活中，与其花时间去等待，不如加快步伐去追寻理想，试着与时间赛跑，也许身躯、心理会感到劳累，但这样的生活毕竟是充实的。

14 虽然这样，原地踏步的情况还是存在。虑考高维情况，每个样采就是空间中一个点，从state(x1,y1)->state(x2,y2)可以分2布成完：a)(x1,y1)->(x1,y2);b)(x1,y2)->(x2,y2)，即不要急着，一个坐标一个坐标来。 

15. 这样有啥好？拆开后的每一步，都当相于在牢固的一个维度上做state change，且满意detailed balance condition，终究有对于意任两个state X,Y，都满意detailed balance condition。没有原地踏步；图片来自 @rickjin 《LDA数学八卦》； 

16. Gibbs Sampling vs EM，有啥联系？看看pLSA,p(d,w,z|θ), θ是数参，z是未知变量，先随意猜一个θ0把，E步求z的分布，这样数据就完全了；根据最大似然，定确了凸数函Q(θ|d,w,θ0)。M步弄定它，最大化它的期望，得获一个更好的θ。 

17. EM 有个直观的图，解释了为毛EM轻易入陷局部最优，或者说对初始值敏感。因为虽然每次low bound convex Q数函都在变,但是由于最大化，不具备跳出坑的力能。如果图中左面的，红线复兴跳来一个峰高，对应全局最优，就只干能努目了。 

18. 意注图中，每个Q(x)都在θ处与红线等值；这实际上对应着在E步，找一个最好的P(Z)分布，这样的low bound是最紧的，收敛快，也轻易入陷局部最优。如果够能松放这个求要，就有可能跳出局部最优；GEM的做法是在M步弃放最大化，寻求绝对大；还一个做法就是在E步弃放求一个最好的P(Z) 

19. Z通常是维多，这时候虑考Gibbs Sampling， 即一次只弄其中一个维度，当相于是EM中松放了这个求要；可即为认某种程度上，Gibbs Sampling是GEM的变种。手工。 

20. 上一条有些糊含，太困了，日改再补；头回有力精再连载一个inference on latent variables model 系列；间中引用了很多@rickjin 的图，申谢。--==THE END==-- 

文章结束给大家分享下程序员的一些笑话语录： 系统程序员
　　1、头皮经常发麻，在看见一个蓝色屏幕的时候比较明显，在屏幕上什幺都看不见的时候尤其明显；
　　2、乘电梯的时候总担心死机，并且在墙上找reset键；
　　3、指甲特别长，因为按F7到F12比较省力；
　　4、只要手里有东西，就不停地按，以为是Alt-F、S；
　　5、机箱从来不上盖子，以便判断硬盘是否在转；
　　6、经常莫名其妙地跟踪别人，手里不停按F10；
　　7、所有的接口都插上了硬盘，因此觉得26个字母不够；
　　8、一有空就念叨“下辈子不做程序员了”；
　　9、总是觉得9号以后是a号；
　　10、不怕病毒，但是很害怕自己的程序；