贝叶斯公式的一些理解

条件概率相关定理：

定理1

设A，B 是两个事件，且A不是不可能事件，则称

为在事件A发生的条件下，事件B发生的条件概率。一般地，

，且它满足以下三条件：

（1）非负性；（2）规范性；（3）可列可加性。

定理2

设E 为随机试验，Ω 为样本空间，A，B 为任意两个事件，设P(A)>0，称

为在“事件A 发生”的条件下事件B 的条件概率。

上述乘法公式可推广到任意有穷多个事件时的情况。

设A1，A2，…An为任意n 个事件（n≥2）且P（A1A2…An-1）>0，则P（A1A2…An）=P（A1）P（A2|A1）…P（An|A1A2…An-1）

定理3(全概率公式1)

设B1，B2，…Bn是一组事件,若（1）BiBj≠j，i≠j，i，j=1，2，…，n;（2）B1∪B2∪…∪Bn=Ω 则称B1，B2，…Bn样本空间Ω的一个部分，或称为样本空间Ω 的一个完备事件组。

定理4(全概率公式2)

设事件组B1，B2是样本空间Ω 的一个划分，且P（Bi）>0（i=1，2，…n），则对任一事件A，有

定理5(贝叶斯公式)

设A1，A2，…An…是一完备事件组，则对任一事件B，P（B）>0，有

贝叶斯：

假设已知先验概率P(ω_j)，也知道类条件概率密度p(x|ω_j)，且j=1,2.那么，处于类别ω_j，并具有特征值x的模式的联合概率密度可写成两种形式：

p(ω_j,x) = P(ω_j|x)p(x) = p(x|ω_j)P(ω_j)

整理后得出贝叶斯公式（只有两种类型的情况下）

下面分别介绍一下后验概率、似然函数、先验概率以及证据因子。

1、后验概率

后验概率P(ω_j|x)，即假设特征值x已知的条件下类别属于ω_j的概率。

2、似然函数

p(x|ω_j)为ω_j关于x的似然函数，也成为类条件概率密度函数，表明类别状态为ω时的x的概率密度函数^*。

3、先验概率

先验概率P(ω_j)是由先验知识而获得的。

4、证据因子

证据因子的存在知识为了保证各类别的后验概率的总和为1^**。

 

补充：

*概率密度函数：

     在数学中，一个连续型随机变量的“概率密度函数”是一个描述这个随机变量的输出值在某一个确定的取值点附近的可能性的函数。

     而随机变量的取值落在某个区域之间的概率则是概率密度函数在这个区域上的积分。当概率密度函数存在的时候，累积分布函数是概率密度函数的积分。

**概率总和为1：

     一个函数 f(x) 要想成为密度函数，那么必须满足两个条件：

    ① f(x) >0, 这很好理解了……概率大于0嘛……比如说吃饭的概率，50%说明一半的可能我会吃饭，但是如果是-50%呢？难道是我吐了一半吗……很诡异吧

    ② ∫f(x)dx=1，概率就是某种可能性，如果把所有可能性都包括在内就可以证明这个事情一定是发生的，只是按照那种情况发生我们不知道而已，所以所有可能性的和为1.