独立与条件独立

事件间的条件独立（三个事件之间）条件弱于两个事件间的独立。

• 条件有时为不独立的事件之间带来独立（gain independence），有时也会把本来独立的事件，因为此条件的存在，而失去独立性（lose independence），如下（本身，$P(XY)=P(X)P(Y)$，二者独立）；

  $$P(X,Y\big |C)\neq P(X|C)P(Y|C)$$

事件独立时，联合概率等于概率的乘积。这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分情况下，事件之间都是互相影响的。然而，通常这种影响又往往依赖于其他变量而不是直接产生。由此我们引入条件独立（conditional independent，CI）。给定 $Z$ 下，$X$ 与 $Y$ 是条件独立的当且仅当：

$$X\perp Y | Z\Leftrightarrow P(X,Y|Z)=P(X|Z)\cdot P(Y|Z)$$

也即 $X$ 与 $Y$ 的依赖关系借由 $Z$ 产生。

例如，定义如下事件：

• $X$：明天下雨；
  • $Y$：今天的地面是湿的；
  • $Z$：今天是否下雨；

  • $Z$ 事件的成立，对 $X$ 和 $Y$ 均有影响，然而，在 $Z$ 事件成立的前提下，今天的地面情况对明天是否下雨没有影响。

    1. 相关证明

    $$X\perp Y|Z \Leftrightarrow p(x,y|z)=h(x,z)\cdot g(y,z)$$

    等式两边同时对 $x$ 积分（对称地，对 $y$ 进行积分）：

    $$\left\{ \begin{array}{l} p(y|z)\cdot \frac1{h(z)}=g(y,z)\\ p(x|z)\cdot \frac1{g(z)}=h(x,z) \end{array} \right.$$

    两式相乘 $h(x,z)\cdot g(y,z)=p(y|z)\cdot \frac1{h(z)}\cdot p(x|z)\cdot \frac1{g(z)}$，又由题设可知，$h(x,z)\cdot g(y,z)=p(x,y|z)$，因此，

    $$p(x,y|z)=p(y|z)\cdot \frac1{h(z)}\cdot p(x|z)\cdot \frac1{g(z)}$$

    等式两边同时对 $x,y$ 进行积分，则可得：

    $$\frac1{h(z)}\frac1{g(z)}=1$$
    因此等式成立。

    2. 离散型随机变量独立性的判断

    $$P(A, B) = P(A)\cdot P(B)$$

    独立性的判断即是判断上述等式是否成立。

    两随机变量的联合概率分布以及各个概率分布（marginalized）：

    
    
    
    
    

    由此可知，$P(i^0, d^0)=P(i^0)\cdot P(d^0), \ldots$，可知事件彼此独立。

    3. 条件独立举例

    比如两枚硬币，一枚均匀（fair），一枚（biased，0.9 的概率为正，0.1 的概率为反面）。做如下操作，首先随机选择一枚硬币，然后投掷两次（tosses），现定义如下三个随机变量：

    • $C$：随机选择一枚硬币；
    • $X_1$：第一次投掷的正反面情况；
    • $X_2$：第二次投掷的正反面情况；

    考虑现在做第一次投掷，$X_1$，如果为正面，则第二次投掷为正面的概率。如果知道选中的是哪一种硬币，显然第二次投掷与第一次投掷彼此是独立的。因此，$P\models \left(X_1\perp X_2\big | C\right)$

    4. 条件独立与马尔科夫性

    • $P(AB|C)=P(A|C)P(B|C)$ ⇒
      
      • $P(B|AC) = P(B|C)$，条件中有 C，则 B 的出现不受 A 的影响。
      • $P(A|BC)=P(A|C)$
    • C：事件表示现在；A：事件表示过去；B：事件表示未来；
      - 这样在条件独立的前提下，$P(B|AC) = P(B|C)$ 未来发生的概率只有现在有关，而与过去无关；