先验概率,后验概率,似然概率,条件概率,贝叶斯,最大似然

本文详细解释了先验概率、后验概率、条件概率、似然概率的概念,并通过实例阐述了贝叶斯公式及其应用。最大似然理论与贝叶斯理论在分类问题中的区别在于是否考虑先验概率。贝叶斯理论在处理稀有事件时更具优势,但在实际应用中,先验概率的准确性至关重要。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

总是搞混,这里总结一下常规的叫法:

  1. 先验概率:
    事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(x),P(y)
  2. 后验概率:
    事件发生后求的反向条件概率;或者说,基于先验概率求得的反向条件概率。概率形式与条件概率相同。
### 贝叶斯公式及其组成部分 贝叶斯公式是一种用于更新概率估计的强大工具,在机器学习领域具有广泛应用。该公式允许通过引入新的证据来调整初始假设的概率。 #### 先验概率 (Prior Probability) 先验概率表示在观察任何数据之前对于某个事件发生的信念程度[^1]。这通常基于先前的知识或经验得出,可以视为模型训练前对参数分布的一种猜测。例如,在垃圾邮件分类器中,可以根据历史记录设定某封电子邮件是垃圾邮件的先验概率。 #### 后验概率 (Posterior Probability) 后验概率是在考虑了新获得的信息之后所得到的目标变量取特定值的可能性大小。具体来说就是当给定了某些观测结果时,我们能够更精确地推断出未知量的状态。继续上面的例子,收到一封具体的邮件后,根据其特征重新评估它是垃圾邮件的概率就属于后验概率。 #### 类条件概率 (Likelihood or Class Conditional Probabilities) 类条件概率指的是给定类别下样本属性出现的概率密度函数\(P(x|C_k)\),其中\(x\)代表输入向量而\(C_k\)则指代第k个类别标签[^2]。这类概率反映了不同类型的对象在其所属群体内的典型表现形式;比如图像识别任务里,圆形物体的颜色分布模式就可以看作是一个典型的类条件概率实例。 ### 机器学习中的应用案例 利用上述概念构建预测模型的一个经典例子便是朴素贝叶斯分类算法: ```python from sklearn.naive_bayes import GaussianNB import numpy as np # 创建简单二维数据集 X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) Y = np.array([0, 0, 0, 1, 1, 1]) clf = GaussianNB() clf.fit(X, Y) print(clf.predict([[0.8, 1]])) ``` 在这个简单的二元分类问题中,`GaussianNB()`实现了高斯朴素贝叶斯方法,它假定各维度上的特征服从正态分布并独立于其他维度。因此可以通过计算每种类别的联合概率——即乘积形式下的先验与相应条件下度之积——最终选取最大者作为输出标记。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值