条件概率

最新推荐文章于 2022-02-13 11:30:14 发布

Vic_Hao

最新推荐文章于 2022-02-13 11:30:14 发布

阅读量2.9k

点赞数

分类专栏：概率论和信息论

本文链接：https://blog.csdn.net/weixin_42018112/article/details/80351051

版权

概率论和信息论专栏收录该内容

13 篇文章 2 订阅

订阅专栏

1.条件概率
某个事件在给定其它事件发生时出现的概率被称为条件概率。我们将给定 $\mathrm{x}=x$ ， $\mathrm{y}=y$ 的条件概率记为 $P(\mathrm{y}=y\mid \mathrm{x}=x)$ ，这个条件概率可以通过下列公式计算：

P (y = y ∣ x = x) = P ( x = x , y = y ) P ( x = x )

$P(\mathrm{y}=y\mid \mathrm{x}=x)=\frac{P(\mathrm{x}=x,\mathrm{y}=y)}{P(\mathrm{x}=x)}$
条件概率只有在

P(x=x)>0 P ( x = x ) > 0 $P(\mathrm{x}=x)> 0$ 时有定义。

2.链式法则
任何多维随机向量的联合概率分布，都可以分解为只有一个变量的条件概率相乘的形式：

P (x (1), . . ., x (n)) = P (x (1)) \prod i = 2 n P (x (i) ∣ x (1), . . ., x (i - 1))

$P(\mathrm{x}^{(1)},...,\mathrm{x}^{(n)})=P(\mathrm{x}^{(1)})\prod_{i=2}^{n}P(\mathrm{x}^{(i)}\mid \mathrm{x}^{(1)},...,\mathrm{x}^{(i-1)})$
这个规则被称为概率的 链式法则或 乘法法则。

3.相互独立和条件独立
两个随机变量 $\mathrm{x}$ ， $\mathrm{y}$ ，如果他们的联合概率分布可以表示成两个因子的乘积形式，并且一个因子只包含 $\mathrm{x}$ 另一个因子只包含 $\mathrm{y}$ ，我们就称这两个随机变量是相互独立的。

\forall x \in x, y \in y, p (x = x, y = y) = p (x = x) p (y = y)

$\forall x\in \mathrm{x},y\in \mathrm{y},p(\textrm{x}=x,\textrm{y}=y)=p(\textrm{x}=x)p(\textrm{y}=y)$
如果关于

x x $\mathrm{x}$ 和

y y $\mathrm{y}$ 的条件概率分布对于

z z $\mathrm{z}$ 的每一个值都可以写成乘积的形式，那么这两个随机变量

x x $\mathrm{x}$ 和

y y $\mathrm{y}$ 在给定随机变量

z z $\mathrm{z}$ 时是 条件独立的。

\forall x \in x, y \in y, z \in z, p (x = x, y = y ∣ z = z) = p (x = x ∣ z = z) p (y = y ∣ z = z)

$\forall x\in \mathrm{x},y\in \mathrm{y},z\in \mathrm{z},p(\textrm{x}=x,\textrm{y}=y\mid \textrm{z}=z)=p(\textrm{x}=x\mid \textrm{z}=z)p(\textrm{y}=y\mid \textrm{z}=z)$
我们可以采用另一种简化方式来表示相互独立性和条件独立性：

x⊥y x ⊥ y $\textrm{x}\perp \textrm{y}$ 表示

x x $\mathrm{x}$ 和

y y $\mathrm{y}$ 相互独立，

x⊥y∣z x ⊥ y ∣ z $\textrm{x}\perp \textrm{y}\mid \textrm{z}$ 表示

x x $\mathrm{x}$ 和

y y $\mathrm{y}$ 在给定条件

z z $\mathrm{z}$ 时条件独立。