深度学习基础 - 朴素贝叶斯

深度学习基础 - 朴素贝叶斯

flyfish

1. 基本概率

基本概率 是描述事件发生可能性的一个数值，通常用 $P(A)$ 表示事件 $A$ 的概率。概率的值范围在 0 到 1 之间，0 表示不可能事件，1 表示必然事件。

2. 联合概率

联合概率 $P(A\cap B)$ 表示两个事件 $A$ 和 $B$ 同时发生的概率。计算联合概率时，我们关心两个事件的同时发生情况。
如果 $A$ 和 $B$ 是独立事件，联合概率为：
$$P(A\cap B)=P(A)P(B)$$

3. 条件概率

条件概率 $P(A|B)$ 表示在事件 $B$ 已经发生的情况下，事件 $A$ 发生的概率。条件概率是描述事件之间相互依赖性的一种方式。
条件概率的计算公式为：
$$P(A|B)=\frac{P(A\cap B)}{P(B)}$$

这里，$P(A\cap B)$ 是事件 $A$ 和 $B$ 的联合概率，而 $P(B)$ 是事件 $B$ 的概率。

4. 先验概率和后验概率

先验概率 $P(B)$：在观察数据之前，事件 $B$ 的初始概率。先验概率代表我们在获取新信息之前对事件发生的先入为主的看法。

后验概率 $P(B|A)$：在获得新信息 $A$ 之后，更新事件 $B$ 发生的概率。后验概率是基于新的证据对先验概率的修正。

5. 互斥事件

互斥事件 是指两个事件不能同时发生。若 $A$ 和 $B$ 是互斥的，则 $P(A\cap B)=0$。对于互斥事件 $A$ 和 $B$，联合概率简化为：$$P(A\cup B)=P(A)+P(B)$$

6. 全概率公式

全概率公式 用于计算事件 $A$ 的总体概率，通过考虑其在不同条件下的条件概率。假设 $B_1,B_2,\dots ,B_n$ 是样本空间的一个划分，即这些事件互不重叠且其并集是整个样本空间，那么事件 $A$ 的概率为：$$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$$

7. 贝叶斯公式

贝叶斯公式 是一种通过已知条件概率来更新概率估计的方法。假设 $B_1,B_2,\dots ,B_n$ 是样本空间的一个划分，并且 $P(A)>0$，则贝叶斯公式为：$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$
这个公式用于从事件 $A$ 的已知发生情况中反推出事件 $B_i$ 的概率，即在观察到 $A$ 发生之后，事件 $B_i$ 的后验概率。

8. 独立事件

独立事件 是指两个事件的发生互不影响。若 $A$ 和 $B$ 是独立的，则：
联合概率为：
$$P(A\cap B)=P(A)P(B)$$

条件概率为：
$$P(A|B)=P(A)\text{和}P(B|A)=P(B)$$

案例

某电子设备制造厂所用的元件是由三家元件制造厂提供的根据以往的记录有以下的数据:
元件制造厂 1 2 3
次品率 0.02 0.01 0.03
提供元件的份额 0.15 0.80 0.05

元件制造厂	次品率	提供元件的份额
1	0.02	0.15
2	0.01	0.80
3	0.03	0.05

设这三家工厂的产品在仓库中是均匀混合的且无区别的标志
(1)在仓库中随机地取一只元件,求它是次品的概率;
(2)在仓库中随机地取一元件,若已知取到的是只次品,为分析此次品出自何厂
求三家工厂生产的概率别是多少

解设A表示"取到的是一只次品"
Bi(i=1,2,3)表示"所取到的产品是由第i家工厂提供的
B1,B2,B3是样本空间的一个划分

已知

$P(B_1)=0.15,$

$P(B_2)=0.80,$

$P(B_3)=0.05,$

$P(A|B_1)=0.02,$

$P(A|B_2)=0.01,$

$P(A|B_3)=\mathrm{0.03.}$

全概率公式就是求随机地取一只元件,它是次品的概率;

$P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+P(A|B3)P(B3)$

=0.020.15+0.010.8+0.03*0.05

=0.0125.

贝叶斯公式是求A发生的情况下求B1，B2，B3的概率

$P(B_1|A)=0.24,$

$P(B_2|A)=0.64,$

$P(B_3|A)=0.12$

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
1、已知类条件概率密度参数表达式和先验概率
2、利用贝叶斯公式转换成后验概率
3、根据后验概率大小进行决策分类

简单地说，朴素贝叶斯算法是利用统计中的“条件概率”来进行分类的一种算法。前面的章节介绍的古典概型的概率计算方法，就是扔硬币的那种，穷举出所有的情况，然后看看每种情况的占比，这都是基于排列组合的思路去做概率分析。
朴素贝叶斯分类的方式不太一样。贝叶斯概率研究的是条件概率，也就是研究的场景就是在带有某些前提条件下，或者在某些背景条件的约束下发生的概率问题。

贝叶斯公式的直观解释

贝叶斯公式是用来计算在事件 $A$ 发生的情况下事件 $B_i$ 的概率 $P(B_i|A)$。我们可以把整个样本空间想象成一组互不重叠的区域（即划分），每个区域代表一个事件 $B_i$。这些区域的总和就是整个样本空间。

公式推导

贝叶斯公式可以写作：
$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$

其中：

分子 $P(A|B_i)P(B_i)$：表示在事件 $B_i$ 发生的情况下事件 $A$ 发生的概率乘以事件 $B_i$ 本身的概率。这描述了在特定条件（即 $B_i$ 已发生）下事件 $A$ 的情况。

分母 ${\sum }_{j=1}^{n}P(A|B_j)P(B_j)$：表示在所有可能的条件下（即所有 $B_j$ 发生的情况）事件 $A$ 的概率。这相当于在整个样本空间中事件 $A$ 的总概率，即通过所有可能的划分加权求和得出。

解读公式

1. 右侧分子 $P(A|B_i)P(B_i)$：这个部分可以理解为“在事件 $B_i$ 的条件下，事件 $A$ 发生的‘权重’概率”。首先计算在 $B_i$ 已经发生时，$A$ 发生的概率，然后再根据 $B_i$ 的先验概率进行加权。

2. 右侧分母 ：这个分母表示在所有可能事件的条件下，事件 $A$ 的总概率。它通过对每个可能划分的事件 $B_j$ 计算 $A$ 的条件概率并加权求和来实现。这部分确保我们考虑了所有可能的情形。

3. 左侧 $P(B_i|A)$ ：这个结果给出了“在事件 $A$ 已经发生的条件下，事件 $B_i$ 发生的概率”。通过贝叶斯公式，我们可以将已知的条件概率 $P(A|B_i)$ 反转成 $P(B_i|A)$，这就是贝叶斯公式的核心功能：更新概率 。

公式的意义

贝叶斯公式的重要意义在于它提供了一种从后验概率 $P(B_i|A)$ 的角度理解和计算事件的方式。后验概率是基于新信息（即事件 $A$ 发生）对原有事件概率（先验概率）的更新。

参考文献
《白话大数据与机器学习》
《概率论与数理统计（第四版）》浙大 盛骤、谢式千、潘承毅