概率图模型-原理与技术第二章基础知识学习笔记

最新推荐文章于 2023-12-22 00:02:20 发布

四去六进一

最新推荐文章于 2023-12-22 00:02:20 发布

阅读量3.7k

点赞数 2

分类专栏：概率图模型文章标签：概率图模型

本文链接：https://blog.csdn.net/icefire_tyh/article/details/54098062

版权

概率图模型专栏收录该内容

6 篇文章 1 订阅

订阅专栏

概率图模型-原理与技术第二章基础知识学习笔记

概率图模型-原理与技术总目录

http://blog.csdn.net/icefire_tyh/article/details/54026071#t3

    本章主要回顾了概率论与图论的基础知识，是后面学习的基石。

1.概率论

1.1 空间与事件

形式上，假定存在一个可能结果的约定空间来定义事件，空间用 $Ω$ 表示，事件集合用 $S$ 表示，代表着所有可能的事件。
比如掷色子，可能出现1,2,3,4,5,6。那么空间 $Ω$ 就可以表示成{1,2,3,4,5,6}。
事件集合 $S$ 中任何一个事件都是 $Ω$ 的子集：
事件1：抛出的结果是1，即 $\alpha= \{1\}$ ， $\alpha \in S \subset Ω$
事件2：抛出的结果奇数，即 $\beta= \{1,3,5\}$ ， $\beta \in S \subset Ω$
特别的，还有平凡事件 $Ω，\varnothing$

事件空间满足的三个性质：
1. $Ω \in S，\varnothing \in S$

2.如果 $\alpha \in S \beta \in S$ ,那么 $\alpha \bigcap \beta \in S$
如上例1，2 $\alpha \bigcap \beta=\{1\} \in S$

3.如果 $\alpha \in S$ ，那么 $Ω-\alpha \in S$
如上例2， $\beta \in S$ ，那么 $Ω-\beta =\{2,4,6\}\in S$ ，即事件抛出的结果偶数。

1.2 概率与分布

事件 $\alpha$ 的概率 $P(\alpha)$ 量化了事件 $\alpha$ 发生的可信度，当 $P(\alpha)=1$ 时，可以确定事件 $\alpha$ 中总有一个结果会发生，但如果 $P(\alpha)=0$ ，就认为 $\alpha$ 中的所有结果都不会发生。

定义在事件空间 $(Ω,S)$ 的概率分布是事件集合S到实数R上的一个映射，且满足：
1.对所有 $\alpha \in S，P(\alpha)\geq0$
概率为0就已经表示一定不会发生，所以概率为负数没有意义。

2. $P(Ω) = 1$
平凡事件包括了所有可能的结果，其中有且只有一个必然会发生，所以概率为1。

3.如果 $\alpha,\beta \in S$ 且 $\alpha \bigcap \beta =\varnothing$ ，那么 $P(\alpha \bigcup \beta)=P(\alpha)+P(\beta)$
一般情况下 $P(\alpha \bigcup \beta)=P(\alpha)+P(\beta)+P(\alpha \bigcap \beta)$ ，由于 $P(\alpha \bigcap \beta)=P(\varnothing)=0$ ，所以写成上式。

假设色子是均匀的，即抛出1-6的可能性是相同的，上述性质如下表：

事件	描述	概率	解释
{1}	$\alpha$	1/6	包含6种中的1种可能
{3,5}	$\beta$	1/3	包含6种中的2种可能
{1,2,3,4,5,6}	Ω	1	包含所有可能，必然发生其中一种
{}	$\varnothing$	0	不包含任何可能，永远不会发生
{1,3,5}	$\alpha \bigcup \beta$	1/2	包含6种中的3种可能

1.3 条件概率与贝叶斯法则

条件概率考虑两个事件的相关性，如果一个事件已经发生了，那么是否会改变另一个事件发生的概率呢？
用一个实例来解释一下，比如黑盒子中有3个球，两个黑球一个白球，采用 $\color{red}{不放回}$ 的方式摸球。
事件：第一次摸出黑球。
事件 $\beta$ ：第二次摸出黑球。

那么：
$P(\alpha)=\frac{2}{3}$
$P(\beta)=\frac{2}{3}*\frac{1}{2}+\frac{1}{3}*\frac{2}{2}=\frac{2}{3}$
事件 $\alpha \bigcap \beta$ ：第一次摸出黑球且第二次也摸出黑球
$P(\alpha \bigcap \beta)=\frac{2}{3}*\frac{1}{2}=\frac{1}{3}$

下面的问题是，如果已知第一次摸出的是黑球，那么第二次摸出黑球的概率是多少？
即事件 $\beta | \alpha$ ：已知第一次摸出的是黑球，第二次摸出黑球\
依常识老分析，既然已知第一次摸的是黑球，那么可以假设袋子中只有一个黑球和一个白球，那么从袋子中摸出黑球的概率就应该是 $\frac{1}{2}$ 。

考虑如下表：

事件	第一次	第二次	概率
1	白	白	0
2	白	$\color{blue}黑$	1/3
3	$\color{red}黑$	白	1/3
4	$\color{red}黑$	$\color{blue}黑$	1/3

当已知第一次摸出黑球，对应着上表事件3、4，此时第二次摸出黑球，对应事件4，那么此时的条件概率应该就是 $P(\beta | \alpha)=\frac{P(事件4)}{P(事件3)+P(事件4)}=\frac{P(\alpha \bigcap \beta)}{P(\alpha)}=\frac{1}{2}$ 。

条件概率也满足概率的三点性质，具体看习题2.4。

可以看出，如果一个事件已经发生，是有可能影响另一个事件发生的概率的。

由条件概率公式可以得到
$P(\alpha \bigcap \beta)=P(\beta | \alpha)P(\alpha)$
交换事件的位置
$P(\alpha \bigcap \beta)=P(\alpha| \beta)P(\beta)$

由此推出贝叶斯规则
$P(\alpha| \beta)=\frac{P(\beta | \alpha)P(\alpha)}{P(\beta)}$
贝叶斯规则的重点在已知某条件概率 $P(\beta | \alpha)$ 可以推出它的逆条件概率P(\alpha | \beta)。
这里书上的例子十分清楚，即讲述了计算方法，也解释了逆条件概率可能包涵的意义。

1.4 随机变量

上面讨论概率时都是用的事件，但是用事件描述时十分麻烦，每个事件都需要一个符号。如果用一种泛化的表示，在表示时不再去注重具体值，而是某一种属性，这样会使得描述时更加简洁，这就是随机变量。

考虑上面的例子，用随机变量X表示第一次摸出球的颜色，随机变量Y表示第一次摸出球的颜色。
那么当X=黑球时，代表着第一次摸出了黑球，Y=黑球时，代表着第二次摸出了黑球。
此时用X,Y两个符号就能描述摸两次球的所有可能事件。

1.4.1 随机变量的联合分布

很多情况下，我们对多个随机变量同时的取值有兴趣，这个时候就要用到联合分布。
如上例随机变量X,Y的联合分布

联合分布	X=黑球	X=白球	P(Y)
Y=黑球	1/3	1/3	2/3
Y=白球	1/3	0	1/3
P(X)	2/3	1/3

其中我们对每一行求和来计算Y的边缘分布，对每一列求和来计算X的边缘分布。
当给出联合分布时，可以直接查出所有随机变量在任何取值下的概率，但是由于联合分布表太大，一般情况分布表不会以全部属性的联合分布给出。

1.4.2 随机变量的条件分布

和事件的条件概率一样，随机变量也有条件分布，即在某一些随机变量在特定取值时，其他随机变量的概率分布。
条件分布公式 $P(X|Y)=\frac{P(X,Y)}{P(Y)}$

条件分布	X=黑球(条件)	X=白球(条件)
Y=黑球	1/2	1
Y=白球	1/2	0

这里与事件不同的是，随机变量用P(X,Y)来表示联合分布，而事件用 $P(\alpha \bigcap \beta)$ 来表示两个事件同时发生。

1.5 独立性

如果一个事件(随机变量)的发生对另一个事件(随机变量)发生概率不产生影响，则认为这两个事件(随机变量)相互独立。
对于事件 $P(\alpha|\beta)=P(\alpha)$ ,事件 $\alpha$ 与 $\beta$ 独立。
对于随机变量 $P(X | Y)=P(X)$ ，随机变量X与Y独立。