先验概率、后验概率和似然概率

老是容易把先验概率,后验概率,似然概率混淆,所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义,定义取自维基百科和百度百科:

先验概率

  • 百度百科定义:先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的概率。
  • 维基百科定义: 在贝叶斯统计中,某一不确定量p的先验概率分布是在考虑"观测数据"前,能表达p不确定性的概率分布。

可以看到二者定义有一个共同点,即先验概率是不依靠观测数据的概率分布,也就是与其他因素独立的分布。所以可以用P(θ)表示。

后验概率

维基百科定义: 在贝叶斯统计中,一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。同样,后验概率分布是一个未知量(视为随机变量)基于试验和调查后得到的概率分布。

简单的理解就是这个概率需要机遇观测数据才能得到,例如我们需要对一个神经网络建模,我们需要基于给定的数据集X才能得到网络参数θ的分布,所以后验概率表示为P(θ|X)

似然概率

百度百科定义: 统计学中,似然函数是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ)。
维基百科定义: 在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。

似然概率很好理解,就是说我们现在有一堆数据,现在需要构建一组参数对这些数据建模,以使得模型能够尽可能地拟合这些数据。所以我们要做的就是从很多组参数中选出一组使得模型对数据的拟合程度最高,所以也常常说最大似然概率,即 (P(X|θ)。

总结

现在总结一下:

  • 先验概率: \(P(θ)\)
  • 后验概率: \(P(θ|X)\)
  • 似然概率: \(P(X|θ)\)

它们三者存在这样的关系:

在这里插入图片描述

一般而言数据\(P(X)\)的分布是知道的,所以有

在这里插入图片描述

此外,当参数θ是均匀分布时,后验概率和似然概率成正比,即:

在这里插入图片描述

### 先验概率后验概率的概念及区别 #### 概念定义 先验概率是指在获取任何观测数据之前,对某个事件发生可能性的估计[^3]。它反映了我们对该事件的初始认知,通常是基于历史经验、统计规律或者主观判断得出的概率后验概率则是通过引入新的证据或数据之后,利用贝叶斯定理重新调整后的概率[^4]。它是结合已有信息新观察到的数据来更新对某事件信念的结果。 #### 数学表达形式 设 $ A $ $ B $ 是两个随机事件,则根据贝叶斯公式可以表示为: $$ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} $$ 其中: - $ P(A) $ 表示 **先验概率**,即在没有任何关于 $ B $ 的额外信息下,$ A $ 发生的可能性; - $ P(A|B) $ 称作 **后验概率**,是在知道 $ B $ 已经发生的情况下,$ A $ 发生的概率; - $ P(B|A) $ 被称为度(Likelihood),描述当 $ A $ 成立时 $ B $ 出现的可能性; - $ P(B) $ 则是一个标准化常数,用于确保总概率等于 1。 #### 关键差异分析 两者的根本不同在于它们所依据的信息范围以及时间顺序上的先后关系。具体来说有以下几个方面需要注意: 1. 时间维度: - 先验概率强调的是“事先”,也就是尚未考虑当前实验结果或其他相关信息之前的预测值; - 后验概率则发生在获得某些实际测量值以后再做进一步修正得到的新估值。 2. 数据依赖性: - 前者独立于具体的样本集之外单独存在; - 后者必要涉及到针对特定情境下的实测资料来进行量化评估过程中的参数调节工作。 3. 应用场景举例说明如下表所示: | 场景 | 描述 | 使用何种概率 | |------|------------------------------------------------------------------------------------------|--------------| | 医疗诊断 | 如果一个人患有某种疾病的几率是多少? 这里指的是总体人群患病率作为基础设定 | 先验 | | | 当检测呈阳性反应后再问这个人真正得病的机会有多大呢 ? 此刻就需要运用测试准确性等相关因素综合考量 | 后验 | ```python # Python实现简单例子展示如何计算两者之间的转换关系 def bayes_theorem(prior_A, likelihood_B_given_A, marginal_B): posterior_A_given_B = (likelihood_B_given_A * prior_A) / marginal_B return posterior_A_given_B prior_probability = 0.01 # Example Prior Probability of having a disease. likelihood_positive_test = 0.99 # Likelihood that test is positive given the person has the disease. marginal_positive_test = 0.0594 # Marginal probability of testing positive. posterior_prob = bayes_theorem(prior_probability, likelihood_positive_test, marginal_positive_test) print(f"The Posterior Probability is approximately {posterior_prob:.4f}") ``` 上述代码片段展示了怎样借助给定数值代入公式完成一次基本运算操作流程演示效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值