本文主要参考John K. Kruschke的著作Doing Bayesian Data Analysis的第13章。
功效分析对比常规贝叶斯数据分析,下图取自图13.1
功效,是你正确地拒绝原假设的概率,也就是实验达到目的的概率。
问题是这样的。我们希望新用户的次日留存率能达到65%以上,那么需要多少个样本才能确定这个次日留存率?
确定样本容量的前提是确定功效。0.9的功效需要的样本量肯定大于0.8的功效。
留存率当然还是一个抛硬币的问题。所以可以用beta分布。
我们还需要一个data-generating hypothesis:
beta(θ|0.67⋅(2000−2)+1,(1−0.67)⋅(2000−2)+1)
假设实验样本是200个,那么转化的个数可能有0,1,2,……,200这201种可能。每一种可能,都能计算出一个后验分布,从而得到HDI。如果这个HDI的下限大于0.65,那么这次实验就成功了。而这种可能,它的概率要基于data-generating hypothesis来计算。把这些实验成功的可能的概率加一起,就是power。
以下是Kruschke的代码
minNforHDIpower = function( genPriorMode , genPriorN ,
HDImaxwid=NULL , nullVal=NULL ,
ROPE=c(max(0,nullVal-0.02),min(1,nullVal+0.02)) ,
desired