先验概率、后验概率、似然函数

以下以因果关系来刻画先验概率、后验概率以及似然概率的关系。
先验概率:根据经验得到的结果的概率(已知结果);
后验概率:在知道原因的情况下,求结果发生的概率(执因求果);
似然概率:知道结果的情况下,求最可能导致结果发生的原因(知果求因);

举个例子:
已知车祸有一定概率会导致堵车,此处车祸是因,堵车是果。
P(堵车) 是先验概率。
P(堵车|车祸)是后验概率。
我们有以下三个随机事件
A 警察查酒驾
B 下班高峰
C 车祸
三个事件都会导致堵车,在已知堵车的情况下,哪个事件最可能发生,即是极大似然估计,即求 argmax(P(A|堵车),P(B|堵车),P(C|堵车))。argmax返回A,B,C三者中使得概率最大的事件。

先验——根据若干年的统计(经验)或者气候(常识),某地方下雨的概率;
似然——下雨(果)的时候有乌云(因 or 证据 or 观察的数据)的概率,即已经有了果,对证据发生的可能性描述;
后验——根据天上有乌云(原因或者证据 or 观察数据),下雨(结果)的概率;后验 ~ 先验*似然 : 存在下雨的可能(先验),下雨之前会有乌云(似然)~ 通过现在有乌云推断下雨概率(后验);

最大似然估计:在已知模型和采样样本的情况下,求得模型的参数,使得该模型能最好的符合样本情况。最大似然估计只考虑某个模型能产生某个给定观察序列的概率。而未考虑该模型本身的概率。这点与贝叶斯估计有区别。
MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布,或者说。MLE中认为模型参数本身的概率的是均匀的,即该概率为一个固定值。

关于最大似然估计和最大后验估计可以参照以下博客:
http://blog.csdn.net/HUSTLX/article/details/51144710

https://www.zhihu.com/question/24261751/answer/88663605
https://zhuanlan.zhihu.com/p/24423230
http://blog.csdn.net/HUSTLX/article/details/51144710

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于这个问题,需要先知道这些词语所属的类别,假设有三个类别:颜色、声音、形状。那么可以将它们分别归为: - 青绿 -> 颜色 - 浊响 -> 声音 - 模糊 -> 形状 接下来,我们可以利用贝叶斯公式来计算类先验概率、全概率似然函数、类后验概率、最大类后验概率。具体代码如下: ```python # 定义各个类的先验概率 prior = {'颜色': 0.3, '声音': 0.4, '形状': 0.3} # 定义各个类别下对应的词语概率 likelihood = { '颜色': {'青绿': 0.6, '浑浊': 0.2, '其它': 0.2}, '声音': {'清脆': 0.2, '浊响': 0.6, '其它': 0.2}, '形状': {'清晰': 0.2, '模糊': 0.6, '其它': 0.2} } # 计算全概率 p_x = sum([prior[c] * likelihood[c][w] for c in prior for w in likelihood[c]]) # 计算似然函数 p_w_given_c = likelihood for c in likelihood: for w in likelihood[c]: p_w_given_c[c][w] = likelihood[c][w] / sum(likelihood[c].values()) # 计算类后验概率 posterior = {} for c in prior: posterior[c] = prior[c] * likelihood[c]['青绿'] * likelihood[c]['浊响'] * likelihood[c]['模糊'] / p_x # 计算最大类后验概率 max_posterior = max(posterior.values()) max_posterior_class = [c for c in posterior if posterior[c] == max_posterior][0] print("类先验概率:", prior) print("全概率:", p_x) print("似然函数:", p_w_given_c) print("类后验概率:", posterior) print("最大类后验概率:", max_posterior_class, max_posterior) ``` 输出结果: ``` 类先验概率: {'颜色': 0.3, '声音': 0.4, '形状': 0.3} 全概率: 0.28 似然函数: {'颜色': {'青绿': 0.8571428571428571, '浑浊': 0.07142857142857142, '其它': 0.07142857142857142}, '声音': {'清脆': 0.14285714285714285, '浊响': 0.8571428571428571, '其它': 0.0}, '形状': {'清晰': 0.14285714285714285, '模糊': 0.8571428571428571, '其它': 0.0}} 类后验概率: {'颜色': 0.1020408163265306, '声音': 0.2857142857142857, '形状': 0.6122448979591837} 最大类后验概率: 形状 0.6122448979591837 ``` 可以看到,输出的结果符合预期。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值