本文目标:
- 一个隔壁小哥的故事
- 故事中的因果和三个概念
- 贝叶斯公式的角色
- 最大似然估计和贝叶斯的关系
隔壁小哥的故事
隔壁小哥要去15公里外的一个公园,他可以选择步行走路,骑自行车或者开辆车,然后通过其中一种方式花了一段时间到达公园。
首先在这个事里边,大家不要关注隔壁小哥去干嘛,也许去送外卖吧:) 。言归正传,这件事中采用哪种交通方式是因,花了多长时间是果。俗话说瓜熟蒂落,皆是因果;因果循环,报应不爽。要理解即将提到的概念,何为因何为果先要搞清楚。
三个概念之后验(知果求因)
隔壁小哥去公园的故事才刚刚开始,假设在这里您已经牢记住这个故事的因和果。故事仍然要接着讲,顺便带出我们的概念。
假设我们已经知道小哥花了1个小时到了公园,那么你猜他是怎么去的(走路or坐车or自行车),事实上我们不能百分百确定他的交通方式,我们正常人的思路是他很大可能是骑车过去的,当然也不排除开车过去却由于堵车严重花了很长时间,当然还有可能他是个赛跑的运动员自己一路飞跑过去的。
假设已经知道小哥花了3个小时才到公园,这个时候我们猜的时候会觉得他很大可能是静静地走路过去的。但是假设已经知道小哥只花了20分钟才到公园,那么正常人会觉得他最大可能是开车奔驰而去。
这种预先已知结果(路上花的时间),然后根据结果估计(猜)原因(交通方式)的概率分布即 后验概率。
例子问题公式化:
P(交通方式|花费的时间)
修改成一般的公式:P(因|果)
公式正规化:P(θ|x)
三个概念之先验概率(由历史求因)
换个情景,我们不再考虑隔壁小哥去公园的结果了。假设隔壁小哥还没去,大早上刚起床,打算吃完早饭再去。
假设我们比较了解小哥的个人习惯,别管怎么了解的:) 。小哥是个健身爱好者就喜欢跑步运动,这个时候我们可以猜测他更可能倾向于走路过去。
当然我的隔壁小哥是个大死肥宅,懒得要命!这个时候我们猜测他更可能倾向于坐车,连骑自行车的可能性都不大。
这个情景中隔壁小哥的交通工具选择与花费时间不再相关。因为我们是在结果发生前就开始猜的,根据历史规律确定原因 (交通方式)的概率分布即 先验概率。
例子问题公式化:
P(交通方式)
一般化:P(因)
正规化:P(θ)
三个概念之似然估计(由因求果)
换个情景,我们先重新考虑隔壁小哥去公园的交通方式。
假设隔壁小哥步行走路去,15公里的路到公园,一般情况下小哥大概要用2个多小时,当然很小的可能性是小哥是飞毛腿,跑步过去用了1个小时左右,极为小的可能是小哥是隐藏的高手,10分钟就轻功跑酷到了。
小哥决定开车,到公园半个小时是非常可能的,非常小的概率是小哥因为途径的路上有车祸堵了3个小时。
这种先定下来原因,根据原因来估计结果的概率分布即 似然估计。根据原因来统计各种可能结果的概率即似然函数。
似然函数问题公式化:
P(时间|交通方式)
一般化:P(果|因)
正规化:P(x|θ)
贝叶斯公式
我们熟知的贝叶斯公式是这样的:
P(A|B)=P(B|A)∗P(A)P(B)
但在这里我们采用如下形式:P(θ|x)=P(x|θ)∗P(θ)P(x)
后验概率=似然估计∗先验概率
[注]:P(x) 即 evidence。隔壁小哥去公园很多次,忽略交通方式是什么, 只统计每次到达公园的时间 x,于是得到了一 组时间的概率分布。这种不考虑原因,只看结果的概率分布即 evidence,它也称为样本发生的概率分布的 证据。
evidenceevidence 在故事中如下表示:
P(时间)
或P(果)