独立与条件独立

事件间的条件独立(三个事件之间)条件弱于两个事件间的独立。

  • 条件有时为不独立的事件之间带来独立(gain independence),有时也会把本来独立的事件,因为此条件的存在,而失去独立性(lose independence),如下(本身, P(XY)=P(X)P(Y) P ( X Y ) = P ( X ) P ( Y ) ,二者独立);

    P(X,YC)P(X|C)P(Y|C) P ( X , Y | C ) ≠ P ( X | C ) P ( Y | C )

事件独立时,联合概率等于概率的乘积。这是一个非常好的数学性质,然而不幸的是,无条件的独立是十分稀少的,因为大部分情况下,事件之间都是互相影响的。然而,通常这种影响又往往依赖于其他变量而不是直接产生。由此我们引入条件独立(conditional independent,CI)。给定 Z Z 下,X Y Y 是条件独立的当且仅当:

XY|ZP(X,Y|Z)=P(X|Z)P(Y|Z)

也即 X X Y 的依赖关系借由 Z Z 产生。

例如,定义如下事件:

  • X:明天下雨;

    • Y Y :今天的地面是湿的;
    • Z:今天是否下雨;
    • Z Z 事件的成立,对 X Y Y 均有影响,然而,在 Z 事件成立的前提下,今天的地面情况对明天是否下雨没有影响。

      1. 相关证明

      XY|Zp(x,y|z)=h(x,z)g(y,z) X ⊥ Y | Z ⇔ p ( x , y | z ) = h ( x , z ) ⋅ g ( y , z )

      等式两边同时对 x x 积分(对称地,对 y 进行积分):

      p(y|z)1h(z)=g(y,z)p(x|z)1g(z)=h(x,z) { p ( y | z ) ⋅ 1 h ( z ) = g ( y , z ) p ( x | z ) ⋅ 1 g ( z ) = h ( x , z )

      两式相乘 h(x,z)g(y,z)=p(y|z)1h(z)p(x|z)1g(z) h ( x , z ) ⋅ g ( y , z ) = p ( y | z ) ⋅ 1 h ( z ) ⋅ p ( x | z ) ⋅ 1 g ( z ) ,又由题设可知, h(x,z)g(y,z)=p(x,y|z) h ( x , z ) ⋅ g ( y , z ) = p ( x , y | z ) ,因此,

      p(x,y|z)=p(y|z)1h(z)p(x|z)1g(z) p ( x , y | z ) = p ( y | z ) ⋅ 1 h ( z ) ⋅ p ( x | z ) ⋅ 1 g ( z )

      等式两边同时对 x,y x , y 进行积分,则可得:

      1h(z)1g(z)=1 1 h ( z ) 1 g ( z ) = 1

      因此等式成立。

      2. 离散型随机变量独立性的判断

      P(A,B)=P(A)P(B) P ( A , B ) = P ( A ) ⋅ P ( B )

      独立性的判断即是判断上述等式是否成立。

      两随机变量的联合概率分布以及各个概率分布(marginalized):


      这里写图片描述
      这里写图片描述
      这里写图片描述

      由此可知, P(i0,d0)=P(i0)P(d0), P ( i 0 , d 0 ) = P ( i 0 ) ⋅ P ( d 0 ) , … ,可知事件彼此独立。

      3. 条件独立举例

      比如两枚硬币,一枚均匀(fair),一枚(biased,0.9 的概率为正,0.1 的概率为反面)。做如下操作,首先随机选择一枚硬币,然后投掷两次(tosses),现定义如下三个随机变量:

      • C C :随机选择一枚硬币;
      • X1:第一次投掷的正反面情况;
      • X2 X 2 :第二次投掷的正反面情况;

      考虑现在做第一次投掷, X1 X 1 ,如果为正面,则第二次投掷为正面的概率。如果知道选中的是哪一种硬币,显然第二次投掷与第一次投掷彼此是独立的。因此, P(X1X2C) P ⊨ ( X 1 ⊥ X 2 | C )

      4. 条件独立与马尔科夫性

      • P(AB|C)=P(A|C)P(B|C) P ( A B | C ) = P ( A | C ) P ( B | C )
        • P(B|AC)=P(B|C) P ( B | A C ) = P ( B | C ) ,条件中有 C,则 B 的出现不受 A 的影响。
        • P(A|BC)=P(A|C) P ( A | B C ) = P ( A | C )
      • C:事件表示现在;A:事件表示过去;B:事件表示未来;
        - 这样在条件独立的前提下, P(B|AC)=P(B|C) P ( B | A C ) = P ( B | C ) 未来发生的概率只有现在有关,而与过去无关;
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五道口纳什

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值