一个例子搞清楚（先验分布/后验分布/似然估计）

preface：

• 无论是《通信原理》、《信息论》、《信道编码》还是《概率与统计理论》，或者在现在流行的《模式识别》和《Machine Learning》中总会遇到这么几个概念：先验分布/后验分布/似然估计。

• 如果大家不熟悉这几个词，相信大家熟知贝叶斯公式，该公式涉及到了以上几个概念。但是学完本科课程，也会算题，就是在实际情境中总感觉理不清这几个概念的关系，最近上课老被老师讲的先验、后验搞得晕头转向。因此，如果您和我遇到类似的囧事，这篇文章很适合您。

• 声明：本文主要内容修改整理于知乎回答1。

本文目标：

• 一个隔壁小哥的故事
• 故事中的因果和三个概念
• 贝叶斯公式的角色
• 最大似然估计和贝叶斯的关系

隔壁小哥的故事

隔壁小哥要去15公里外的一个公园，他可以选择步行走路，骑自行车或者开辆车，然后通过其中一种方式花了一段时间到达公园。

首先在这个事里边，大家不要关注隔壁小哥去干嘛，也许去送外卖吧：) 。言归正传，这件事中采用哪种交通方式是因，花了多长时间是果。俗话说瓜熟蒂落，皆是因果；因果循环，报应不爽。要理解即将提到的概念，何为因何为果先要搞清楚。

三个概念之后验（知果求因）

隔壁小哥去公园的故事才刚刚开始，假设在这里您已经牢记住这个故事的因和果。故事仍然要接着讲，顺便带出我们的概念。

假设我们已经知道小哥花了1个小时到了公园，那么你猜他是怎么去的（走路or坐车or自行车），事实上我们不能百分百确定他的交通方式，我们正常人的思路是他很大可能是骑车过去的，当然也不排除开车过去却由于堵车严重花了很长时间，当然还有可能他是个赛跑的运动员自己一路飞跑过去的。

假设已经知道小哥花了3个小时才到公园，这个时候我们猜的时候会觉得他很大可能是静静地走路过去的。但是假设已经知道小哥只花了20分钟才到公园，那么正常人会觉得他最大可能是开车奔驰而去。

这种预先已知结果（路上花的时间），然后根据结果估计（猜）原因（交通方式）的概率分布即 后验概率。

例子问题公式化：             P(交通方式|花费的时间)

修改成一般的公式：         P(因|果)

公式正规化：                      P(θ|x)

（公式中的 “||”读作 givengiven，即给定的意思。如P(A|B)即A given B 的概率）
[解释]：看到这里估计大家很奇怪为什么要用 x 、 θ 这样的字母表示，而不是熟悉的 x 、 y 。这样表示自然是有原因的。在这里大家只需要先暂时记住 θθ 代表因、 xx 代表果，后面的贝叶斯我们将会具体介绍这些字母的含义。

三个概念之先验概率（由历史求因）

换个情景，我们不再考虑隔壁小哥去公园的结果了。假设隔壁小哥还没去，大早上刚起床，打算吃完早饭再去。

假设我们比较了解小哥的个人习惯，别管怎么了解的：) 。小哥是个健身爱好者就喜欢跑步运动，这个时候我们可以猜测他更可能倾向于走路过去。

当然我的隔壁小哥是个大死肥宅，懒得要命！这个时候我们猜测他更可能倾向于坐车，连骑自行车的可能性都不大。

这个情景中隔壁小哥的交通工具选择与花费时间不再相关。因为我们是在结果发生前就开始猜的，根据历史规律确定原因 （交通方式）的概率分布即 先验概率。

例子问题公式化：   P(交通方式)

一般化：                  P(因)

正规化：                  P(θ)

三个概念之似然估计（由因求果）

换个情景，我们先重新考虑隔壁小哥去公园的交通方式。

设隔壁小哥步行走路去，15公里的路到公园，一般情况下小哥大概要用2个多小时，当然很小的可能性是小哥是飞毛腿，跑步过去用了1个小时左右，极为小的可能是小哥是隐藏的高手，10分钟就轻功跑酷到了。

小哥决定开车，到公园半个小时是非常可能的，非常小的概率是小哥因为途径的路上有车祸堵了3个小时。

这种先定下来原因，根据原因来估计结果的概率分布即 似然估计。根据原因来统计各种可能结果的概率即似然函数。

似然函数问题公式化：   P(时间|交通方式)

一般化：                           P(果|因)

正规化：                            P(x|θ)

贝叶斯公式
我们熟知的贝叶斯公式是这样的： 

但在这里我们采用如下形式： 

后验概率=(似然估计∗先验概率)/evidence

[注]：P(x)即 evidencee。隔壁小哥去公园很多次，忽略交通方式是什么，只统计每次到达公园的时间 x，于是得到了一组时间的概率分布。这种不考虑原因，只看结果的概率分布即 evidence，它也称为样本发生的概率分布的证据。
evidence在故事中如下表示： 
P(时间)
或 
P(果)
知乎回答原文参考 这儿.

 

深入贝叶斯推断

在这里相信大多数人已经很好地理解了先验概率，后验概率，证据以及和似然估计的概念了。接下来我们将接着讲故事，隔壁小哥到公园以后去做一个游戏，游戏内容如下： 
在小哥面前有两个一模一样的宝箱，一号箱子里面有3颗水果糖和1颗巧克力糖；二号箱子里面有2颗水果糖和2颗巧克力糖。 
(1) 现在小哥将随机选择一个箱子，从中摸出一颗糖。请问小哥选择一号箱子的概率有多大？ 
(2) 现在小哥将随机选择一个箱子，从中摸出一颗糖发现是水果糖。请问这颗水果糖来自一号箱子的概率有多大？

学习和科研是一件枯燥乏闷的事情，也常会遇到令自己感到难受和不公的事情。在这里希望大家有一颗平常心，但行好事，莫问前程！