Notes on Probability Essentials - 2 - Conditional Probability and Independence

百年歌自苦，未见有知音。
——杜甫，《南征》

Definition 1 (a) Two events $A$ and $B$ are independent if $P(A\cap B)=P(A)P(B)$.
(b) A (possibly infinite) collection of events $(A_i)_{i\in I}$ is an independent collection if for every finite subset $J$ of $I$ one has

$$P(\cap_{i\in J}A_i)=\prod_{i\in J}P(A_i)$$
The collection $(A_i)_{i\in J}$ is often said to be mutually independent.

Theorem 1 If $A$ and $B$ are independent, so also are $A$ and $B^c$, $A^c$ and $B$, $A^c$ and $B^c$
Proof: For $A$ and $B^c$,

$$P(A\cap B^c)=P(A)-P(A\cap B)=P(A)-P(A)P(B)\\ =P(A)(1-P(B))=P(A)P(B^c)$$
For $A^c$ and $B$,
$$P(A^c\cap B)=P(B)-P(A\cap B)=P(B)-P(A)P(B)\\ =P(B)(1-P(A))=P(A^c)P(B)$$
For $A^c$ and $B^c$,
$$P(A^c\cap B^c)=P(A^c)-P(A^c\cap B)=P(A^c)-P(A^c)P(B)\\ =P(A^c)(1-P(B))=(1-P(A))(1-P(B))=P(A^c)P(B^c)$$

Definition 2 Let $A,B$ be events, $P(B)>0$, the conditional probability of $A$ given $B$ is $P(A|B)=P(A\cap B)/P(B)$.

Remark. 在这里谈一下对条件概率的感性认识。 许多时候，一个事情的发生多多少少会影响另外一件事情发生的可能性。
那么计算方法为什么是$P(A|B)=\frac{P(A\cap B)}{P(B)}$呢？$P(A\cap B)$代表两个事件同时发生，现在确实是同时发生了，但是原先B的发生并不是必然的，例如原先只有$5\%$的可能性会发生$B$，但是现在这个$5\%$已经确定必然发生了，变成了$100\%$，放大了20倍，那么这样一来$A$发生的概率也就跟着“等比例放大了20倍”。
若这样凭空感受太抽象，那不妨举个著名的例子——(Monty Hall Problem)，这可能是历史上最有争议的概率问题，问题看似简单但正确答案如此有悖常理以至于很多人不能接受。问题描述如下——

• Monty向你展示三个关闭的大门，然后告诉你每个门后都有一个奖品：一个奖品是一辆车，另外两个是不值钱的东西。
• 游戏的目的是要猜哪个门后有车。如果猜对了就可以拿走汽车。
• 你先挑选一扇门，我们暂且称之为A，其他两个门称之为B和C。
• 再打开你选中的门前，为了增加悬念，Monty会先打开B或C中一个没有车的门。
• 然后Monty给你一个选择，坚持最初的选择还是换到剩下未打开的门。
  大多数人都会认为既然剩下的门没被打开，那么汽车在A门或者在剩下那个门的概率都应该是50%，但事实上，如果你坚持选$A$，你中奖的概率只有1/3，而如果你换到另一扇门，你中奖的概率会立马翻倍变成2/3.
  （1）我首先不采用贝叶斯定理来进行一个通俗解释——
  当时还剩下两扇门，门A或者另一扇门，二者当中有一个门有汽车，另一个没有。你最初选择门A的时候，中奖的可能性是1/3。如果你采取了“换”的策略，那么实质上将决定性地改变你中奖或者不中奖（如果原先你是中汽车的，换完以后必然就不中了。如果原先A门不是汽车，那一旦换完门你必然就中汽车了）。基于这一点，由于A门是汽车的可能性是1/3，进行换门以后这个1/3就成了你不中奖的概率。自然而然换门后你中奖的概率就是2/3了。
  （2）下面用贝叶斯定理来进行推导,WLOG，我们假设开始选择的是门A，Monty打开的是门B，令D=”Monty打开门B且B没有车”。已知条件如下$P(A)=P(B)=P(C)=\frac{1}{3}$，这是先验概率。现在要求P(A|D)以及P(C|D)这两个值。
  
  $$\begin{eqnarray*} P(D) &=& \frac{1}{3}\times\frac{1}{2}+\frac{1}{3}\times 0+\frac{1}{3}\times 1=\frac{1}{2} \\ P(A|D) &=& \frac{P(A\cap D)}{P(D)}=\frac{\frac{1}{3}\times\frac{1}{2}}{\frac{1}{2}}=\frac{1}{3} \\ P(C|D) &=& \frac{P(C\cap D)}{P(D)}=\frac{\frac{1}{3}\times 1}{\frac{1}{2}}=\frac{2}{3} \end{eqnarray*}$$
  

  Note:这里的重点其实在于$D$的描述以及$P(D)$,$P(A\cap D)$, $P(C\cap D)$的计算. $P(D)$的计算我这里分了三种情况$\frac{1}{3}$情况下A门有汽车时打开B门的可能性为$\frac{1}{2}$, $B$门有汽车时打开B门可能性为0，$C$门有汽车时打开$B$门可能性为100%，相加后$P(D)=\frac{1}{2}$。$P(A\cap D),P(C\cap D)$就不说了，同理。
  Theorem 2 Suppose $P(B)>0$.
  - $A,B$ are independent iff $P(A|B)=P(A)$
  - The operation $A\rightarrow P(A|B)$ from $\mathcal{A}\rightarrow[0,1]$ defines a new probability measure on $\mathcal{A}$, called the “conditional probability measure given $B$”.

  Proof: Part(1) seems to be a direct result from Definition 1 and Definition 2.
  Part(2), define $Q(A)=P(A|B)$, with $B$ fixed. We must show $Q$ satisfies the definition of a probability measure.
  

  $$Q(\Omega) = P(\Omega|B)=\frac{P(\Omega\cap B)}{P(B)}=\frac{P(B)}{P(B)}=1$$
  If $(A_n)_{n\ge 1}$ is a sequence of elements of $\mathcal{A}$ which are pairwise disjoint, then
  $$Q(\cup_{n=1}^\infty A_n)=P(\cup_{n=1}^\infty A_n|B)=\frac{P(\cup_{n=1}^\infty(A_n\cap B))}{P(B)}$$
  also the sequence $(A_n\cap B)_{n\ge 1}$ is pairwise disjoint as well; thus
  $$=\sum_{n=1}^\infty\frac{P(A_n\cap B)}{P(B)}=\sum_{n=1}^\infty P(A_n|B)=\sum_{n=1}^\infty Q(A_n)$$

  Theorem 3 If $A_1,...,A_n\in\mathcal{A}$ and if $P(A_1\cap...\cap A_{n-1})>0$, then
  

  $$P(A_1\cap...\cap A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1\cap A_2)\\ ...P(A_n|A_1\cap...\cap A_{n-1})$$

  Proof.(draft) By Induction. For $n=2$, the theorem is simply Definition 2. Suppose the theorem holds for $n-1$ events. Let $B=A_1\cap...\cap A_{n-1}$…

  Theorem 4 (Partition Equation). Let $(E_n)_{n\ge 1}$ be a finite or countable partition of $\Omega$. Then if $A\in\mathcal{A}$,
  

  $$P(A) = \sum_n P(A|E_n)P(E_n)$$

  Theorem 5 (Bayes’ Theorem) Let $(E_n)$ be a finite or countable partition of $\Omega$ and suppose $P(A)>0$. Then
  

  $$P(E_n|A) = \frac{P(A|E_n)P(E_n)}{\sum_m P(A|E_m)P(E_m)}$$
  Note: 贝叶斯定理的表述极其简单，等式右侧分子为 $P(A\cap E_n)$，分母为 $P(A)$，基本就是条件概率公式遇到互斥事件（ $E_m$）时的一种应用而已。可是不难看出这样的一种“展开形式”给 $P(E_n|A)$和 $P(A|E_n)$这两个量之间建立了一种关联，于是贝叶斯定理成了一个具有里程碑意义的重要定理。
  点击这里查看贝叶斯定理的一个应用： 《用贝叶斯定理来讨论“医疗诊断的可靠性到底有多少”》