后验概率

最新推荐文章于 2016-07-09 20:00:21 发布

MountainHeng

最新推荐文章于 2016-07-09 20:00:21 发布

阅读量1.5k

点赞数

下面公式中的除法表示的不是很好，意思是p(w|x) 等于上面那一行除以下面那一行

后验概率可以根据通过Bayes定理，用先验概率和似然函数计算出来。下面的公式就是用先验概率密度乘上似然函数，接着进行归一化，得到不定量X在Y=y的条件下的密度，即后验概率密度：

P(x|w)*P(w)

P(w|x)= ----------------------

P(x)

下面是个经典的例子：

经典题目：
有三个门，里面有一个里有汽车，如果选对了就可以得到这辆车，当应试者选定一个门之后，主持人打开了另外一个门，空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。

经典解法（结论倒是正确的）：
第一次选择正确的概率是1/3，因此汽车在另外两个门里的概率是2/3。主持人指出一个门，如果你开始选错了(2/3概率)，则剩下的那个门里100%有汽车；如果你第一次选对(1/3)了，剩下那个门里100%没汽车。
所以主持人提示之后，你不换的话正确概率是1/3*100%+2/3*0=1/3，你换的话正确概率是1/3*0+2/3*100%=2/3。

我先说说这个经典解法的问题吧。对于这个解法的诘问就在于，现在主持人已经打开一个空门了（而且主持人是有意打开这个门的），在这一“信息” 出现后，还能说当初选错的概率是2/3吗？这一后验事实不会改变我们对于先验概率的看法吗？答案是会的。更具体地说，主持人打开一扇门后，对当初选择错误的概率估计不一定等于2/3。
从头说起。假设我选了B门，假设主持人打开了C门，那么他在什么情况下会打开C门呢？
若A有车（先验概率P=1/3），那主持人100%打开C门（他显然不会打开B）；
若B有车（先验概率P=1/3），那此时主持人有A和C两个选择，假设他以K的概率打开C（一般K=1/2，但我们暂把它设成变量）；
若C有车（先验概率P=1/3），那主持人打开C的概率为0（只要他不傻。。。）

已知他打开了C，那根据贝叶斯公式——这里P（M|N）表示N事件发生时M事件发生的概率：

P（C打开|B有车）* p（B有车）

P（B有车|C打开）= ------------------------------

P（C打开）

P（C打开|B有车）* p（B有车）

= ------------------------------------------------------------

P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）

K * 1/3

= -------------------

1 * 1/3 + K * 1/3

= -------

K + 1
该值何时等于1/3 呢（也就是经典解法里的假设）？只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好，比方说他就是喜欢打开右边的门（假设C在右边），设K=3/4，那么B有车的概率就变成了 3/5，不再是1/3，后验事实改变了先验概率的估计！

但这并不改变正确的选择，我们仍然应该改选A门，解释如下：