不确定性推理（计算智能，联合概率分布）

最新推荐文章于 2024-07-05 11:38:44 发布

gagajian

最新推荐文章于 2024-07-05 11:38:44 发布

阅读量2.6k

点赞数

文章标签：贝叶斯概率链式法则

本文链接：https://blog.csdn.net/sinat_31184961/article/details/85548215

版权

记录一下联合概率分布，以及概率推理。

概率公理

对于任意的命题A，B

$\le P(A) \le 1$
$P (t r u e) = 1$ and $P (f a l s e) = 0$
$\cap B) = P(A) + P(B) - P(A \cap B)$

在这里插入图片描述

先验概率

命题的先验概率/无条件概率：没有任何其他信息存在的情况下关于命题的信度。

先验概率分布：对所有可能的情况分配概率值（是一个分布，有多个值），如：
$P (W e a t h e r) = < 0.72, 0.1, 0.08, 0.1 > (需要归一化）$ 。

联合概率分布：对随机变量集合给出所有可能的条件取值 $P (W e a t h e r, C a v i t y) = 一个 4 * 2 的矩阵$ ：
在这里插入图片描述

任何一个概率查询都能够从全联合概率分布得到解答

条件概率

条件概率/后验概率：得到关于随机变量的某些证据（分母），即在某些情况下，所求命题的概率：如$P(cavity | toothache) = 0.8 ，当toothache已知的前提下有cavity的概率 $
条件概率分布的表示：$P(Cavity | Toothache) = 2维向量）
若我们有额外的证据，若cavity已知，那 $p (c a v i t y ∣ t o o t h a c h e, c a v i t y) = 1$
若两个时间间不相关则概率式子可以简化，如 $p (c a v i t y ∣ t o o t h a c h e, s u n n y) = P (c a v i t y ∣ t o o t h a c h e) = 0.8$
以上的这些判断都是依赖于领域知识的，就是针对具体事件的。

条件概率： $\cap b)/ P(b)$ if $P (b) > 0$ 乘法规则： $\cap b) = P(a | b)P(b) = P(b | a)P(a)$ 。联合概率分布可以写成条件分布的形式 $P (W e a t h e r, C a v i t y) = P (W e a t h e r ∣ C a v i t y) P (C a v i t y)$

联合概率分布可以使用链式法则：
在这里插入图片描述

利用全联合分布进行推理

全联合分布：
在这里插入图片描述

对于任意命题 $\psi$ , 计算所有为真的原子命题： $p(\psi) = \sum_\omega \psi p(\omega)$

在这里插入图片描述

如上， $P (t o o t h a c h e) = 0.108 + 0.012 = 0.016 + 0.064 = 0.2$

全联合概率分布：
在这里插入图片描述
$\vee toothache) = 0.018+0.012+0.016+0.064+0.072+0.008 = 0.28$

计算条件概率

在这里插入图片描述

$p(\neg cavity \cap toothache) = P(\neg cavity \cap toothache) /P(toothache) = {(0.016 + 0.064)}/{(0.108 + 0.012 + 0.016 + 0.064)} = 0.4$

归一化

在这里插入图片描述

分母可以看成一个归一化常数a，因为分母是一个常数，所以直接用a表示：
在这里插入图片描述

计算询问变量的概率分布，是通过固定证据变量（分母），然后对隐变量求和计算得到的。

一般的，我们求的是已知证据变量E情况下的查询变量Y的后验概率分布。隐变量为：H = X - Y - E。

证据变量和查询变量的联合分布是通过对隐变量求和得到：
$a\sum hP(Y,E = e, H = h)$
在这里插入图片描述

独立性

A，B独立当且仅当：
$P (A ∣ B) = P (A)$ or $P (B ∣ A) = P (B)$ or $P (A, B) = P (A) P (B)$
通过条件独立，可以在一定程度上减少概率分布的表的一些不必要的数据。
$P (c a t c h ∣ t o o t h a c h e, c a v i t y) = P (c a t c h ∣ c a v i t y)$

贝叶斯规则

在这里插入图片描述

利用贝叶斯规则和条件独立性解下题：
在这里插入图片描述

$\vee catch) = P(toothache \vee catch | Cavity)P(Cavity) / P(toothache \vee catch) = aP(toothache \vee catch | Cavity)P(Cavity) = aP(toothache|Cavity)P(catch|Cavity)P(Cavity) = a<0.108, 0.016> \approx <0.871,0.129>$
上面式子倒数第二步直接分开，是因为toothache和catch是条件独立的。
在这里插入图片描述

$P (t o o t h a c h e) = 0.108 + 0.012 + 0.016 + 0.064 = 0.2$

$P (C a v i t y) = < 0.108 + 0.012 + 0.072 + 0.008, 0.016 + 0.064 + 0.144 + 0.576 > = < 0.2, 0.8 >$

$P(Toothache|Cavity)\\ =\alpha P(Toothache,Cavity,Catch)\\ =\alpha < [P(toothache,cavity,catch)+P(toothache,\urcorner cavity,catch)+P(toothache,cavity,\urcorner catch)+P(toothache,\urcorner cavity,\urcorner catch)], \\ P(\urcorner toothache,cavity,catch)+P(\urcorner toothache,\urcorner cavity,catch)+P(\urcorner toothache,cavity,\urcorner catch)+P(\urcorner toothache,\urcorner cavity,\urcorner catch)] >$

$\vee catch)\\ =\alpha P(Cavity,toothache \vee catch)\\ =\alpha <(0.108+0.012+0.072), (0.016+0.064+0.144)>\\ =<0.4615,0.5384>$

gagajian

关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
不确定性推理（计算智能，联合概率分布）

记录一下联合概率分布，以及概率推理。概率公理对于任意的命题A，B0≤P(A)≤10 \le P(A) \le 10≤P(A)≤1P(true)=1P(true) = 1P(true)=1 and P(false)=0P(false) = 0P(false)=0P(A∩B)=P(A)+P(B)−P(A∩B)P(A \cap B) = P(A) + P(B) - P(A \cap B)P...
复制链接

扫一扫