因果论 —— 模型、推理和推断（概率、图及因果模型）①

概率论概述

为什么学习概率

• 因果意味着定理般的必然性，而概率则意味着例外、疑问、缺乏规律性。
• 概率论特别能够容忍无法解释的例外情况，因此它使我们能够专注于因果关系的主要问题，而不必处理这类矛盾。
• 容忍例外只解决了与因果关系相关的部分问题。剩下的问题包括推断、干预、识别、分歧、混杂、反事实以及解释。

概率论的基本概念

• 概率的贝叶斯解释：根据概率描述对事件的信念程度，并使用数据来增强、更新或削弱这些信念程度。
• $P(A|K)$代表一个人在给定知识体系$K$的条件下对$A$所描述事件的主观信念。在定义概率表达式时，我们通常简单写成$P(A)$，忽略符号$K$。然而，当背景信息发生变化时，我们需要明确地识别解释信念的假定，并明确地表示$K$（或$K$的部分元素）
• 在贝叶斯形式化中，信念测度服从概率演算的三个基本公理：
  $$\begin{array}{c}0\le P(A)\le 1\\ P(\text{确定命题})=1\\ 如果A与B互斥，则P(A或B)=P(A)+P(B)\end{array}$$
• 第3条公理表明，任何一组事件的信念是其非相交成分的信念的总和。因此对应的概率可写为：
  $$P(A)=P(A,B)+P(A,\neg B)$$
  其中$P(A,B)$是$P(A\wedge B)$的简写，$\neg$表示逻辑“非”，$\wedge$表示逻辑“与”。
• 如果$B_i（i=1,2,\cdots ,n）$是一组完备的互斥命题（称为划分或变量），那么$P(A)$可通过对$P(A,B_i)（i=1,2,\cdots ,n）$求和得到：
  $$P(A)=\sum _{i}P(A,B_i)$$
  该式被称为“全概率公式”。在所有B_i上的概率求和操作也称为“边缘化于B”，获得的概率$P(A)$称为A的边缘概率。
• 贝叶斯形式化的基本表达式是关于条件概率的陈述，例如，$P(A|B)$刻画了在$B$完全已知的条件下对$A$的信念。
• 如果$P(A|B)=P(A)$，那么我们认为$A$与$B$独立。因为在获悉B的事实后，我们对于A的信念并没有改变。
• 如果$P(A|B,C)=P(A|C)$，那么我们认为A与B在给定C时条件独立，即一旦我们了解C，那么获悉B将不能改变我们对于A的信念。
• 传统做法利用联合事件定义条件概率，数学表达式：
  $$P(A|B)=\frac{P(A,B)}{P(B)}$$
• 与之相反，贝叶斯派学者认为条件关系比联合事件的关系更基本，即更符合人类知识结构的组织。在这种观点中，$B$作为指向知识背景或框架的指针，$A|B$表示由$B$确定的背景中的事件$A$（例如，在疾病$B$背景下的症状$A$）
• 因此，经验知识必然被描述到条件概率陈述中，而对联合事件的信念可通过乘积计算得到：
  $$P(A,B)=P(A|B)P(B)$$
• 任何时间A的概率都可通过对任意一组完备的互斥事件$B_i（i=1,2,\cdots ,n）$取条件，然后求和计算得到：
  $$P(A)=\sum _{i}P(A|B_i)P(B_i)$$
• 上述公式表明任何事件$A$的信念是对所有可能实现$A$的不同方法的信念的加权和。例如，如果想要计算第1个骰子的结果$X$大于第2个骰子的结果$Y$的概率，我们可以在$X$的所有可能值上对事件$A$：$X>Y$取条件获得：
  $$P(A)=\sum _{i=1}^{6}P(Y<X|X=i)P(X=i)=\sum _{i=1}^{6}P(Y<i)\frac{1}{6}=\sum _{i=1}^6\sum _{j=1}^{i-1}P(Y=j)\frac{1}{6}=\frac{1}{6}\sum _{i=2}^6\frac{i-1}{6}=\frac{5}{12}$$
• 乘积法则的另一个有用推广是链式法则公式。该公式表明如果我们有$n$个事件$E_1,E_2,\cdots ,E_n$，那么联合事件（$E_1,E_2,\cdots ,E_n$）的概率可以写为$n$个条件概率的乘积：
  $$P(E_1,E_2,\cdots ,E_n)=P(E_n|E_{n-1},E_{n-2},\cdots ,E_1)\cdots P(E_2|E_1)P(E_1)$$
• 贝叶斯推断的核心在于反演公式：
  $$P(H|e)=\frac{P(e|H)P(H)}{P(e)}$$
  该公式表明，在获悉证据$e$的条件下假设$H$的信念可通过将我们之前的信念$P(H)$与似然性$P(e|H)$相乘得到，后者表示如果$H$为真则$e$为真的可能性。$P(H|e)$称为后验概率，$P(H)$称为先验概率。分母$P(e)$可通过令$P(H|e)$与$P(\neg H|e)$相加为1，得到$P(e)=P(e|H)P(H)+P(e|\neg H)P(\neg H)$，它仅仅是一个归一化常数。
• 贝叶斯主观主义者将反演公式看作依据证据更新信念的标准规则。尽管条件概率可以被看作纯粹的数学概念，但贝叶斯派拥护者将其看作语言的基本形式、语言表达“假定我知道$A$，…”的忠实翻译。
• 相应地，条件概率公式不是一个定义，而是语言表述之间的一种经验可验证关系。条件概率公式断言，获悉$A$后人们对于$B$的信念不会低于获悉$A$之前人们对于$A\wedge B$的信念。此外这两个信念的比率会依据$[P(A){]}^{-1}$的程度成比例增加，而$[P(A){]}^{-1}$与$A$的获悉程度相关。
• 反演公式的重要性在于，它利用直接由经验知识获得的数值表达度量$P(H|e)$，这是一个通常很难估计的度量。
• 联合分布函数很少可以明确刻画。在连续随机变量的分析中，分布函数由代数表达式给出，例如描述正态分布或指数分布的表达式。对于离散变量，已经发展了间接表示方法，即从部分变量之间的局部关系中推断总体分布。

预测支持与诊断支持结合

• 贝叶斯规则（反演公式）的本质是使用概率和似然比这样的参数来方便地描述问题，将反演公式除以其互补式$P(\neg H|e)$，可以得到
  $$\frac{P(H|e)}{P(\neg H|e)}=\frac{P(e|H)}{P(e|\neg H)}\frac{P(H)}{P(\neg H)}$$
  定义$H$的先验概率为：
  $$O(H)=\frac{P(H)}{P(\neg H)}=\frac{P(H)}{1-P(H)}$$
  $H$的似然比为：
  $$L(e|H)=\frac{P(H|e)}{P(e|\neg H)}$$
  后验概率：
  $$O(H|e)=\frac{P(H|e)}{P(\neg H|e)}$$
  由如下乘积得到：
  $$O(H|e)=L(e|H)O(H)$$
• 贝叶斯规则说明，基于先验知识$K$和观察到的证据$e$，我们对于假设$H$的总体信念强度应该是两个因素的乘积：先验概率$O(H)$和似然比$L(e|H)$。第一个因子衡量的是仅通过背景知识获得的对$H$的预测性支持或预期性支持，而第二个因子表示实际观察到的证据对$H$的诊断性支持或回顾性支持。
• 严格来说，似然比$L(e|H)$可能依赖与隐形知识库$K$的内容。然而，贝叶斯方法的影响主要来自于事实：在因果推理中，关系$P(e|H)$是非常局部的关系——由于$e$通常不依赖于知识库中的其他命题，因此假定$H$为真，那么$e$的概率可以很自然的被估计出来。
• 条件概率$P(e|H)$而非$P(H|e)$是贝叶斯分析中的原子关系。前者具有类似逻辑规则的模块化特征，传达了类似“如果$H$则$e$”的具有逻辑化的信念强度，这是一种不管知识库中存在什么其他规则或事实都能成立的信念。

例题

  想象一下，有一天晚上你被防盗警报器的尖锐声音吵醒。你对于发生盗窃的信念强度是多少？为了便于说明，我们做出以下判断：（a）企图盗窃触发警报系统的可能性为95%，即$P(警报|盗窃)=0.95$；（b）基于已知的错误警报次数，由企图盗窃之外的因素触发警报系统的可能性为1%，即$P(警报|非盗窃)=0.01$；（c）以往的犯罪模式表明，某所房子在某天晚上被盗的可能性为万分之一，即$P(盗窃)=0.0001$；

• 整合这些假定，我们得到：
  $$O(盗窃|警报)=L(警报|盗窃)O(盗窃)=\frac{0.95}{0.01}\times \frac{10^{-4}}{1-10^{-4}}=0.0095$$
  依据：
  $$\begin{gathered} O(A)=\frac{P(A)}{P(\neg A)} \\ 1+O(A)=\frac{P(A)+P(\neg A)}{P(\neg A)} \\ \frac{O(A)}{1+O(A)}=\frac{P(A)}{P(\neg A)}\cdot \frac{P(\neg A)}{P(A)+P(\neg A)}=\frac{P(A)}{P(A)+P(\neg A)}=P(A) \end{gathered}$$
  得到：
  $$P(盗窃|警报)=\frac{0.0095}{1+0.0095}=0.00941$$
• 因此，由警报证据获得的对盗窃假设的回顾性支持将盗窃可能的信念强度几乎提高了一百倍，从$\frac{1}{10000}$提升到$\frac{94.1}{10000}$。考虑到系统几乎每三个月就会触发一次误报。盗窃信念仍低于1%。

随机变量与期望

• 本书的变量指的是属性、度量或问题，从特定域取得一些可能的结果或值。
• 如果我们对变量的可能取值赋予某种信念（即概率），那么我们称这个变量为随机变量。
• 继续使用缩写$P(x)$表示概率$P(X=x)$，$x\in D_x$。同样，如果$Z$代表集合 { X , Y } \{X,Y\} {X,Y}，那么$P(z)$定义为（$\triangleq$是定义的意思）：
  $$P(z)\triangleq P(Z=z)=P(X=x,Y=y),x\in D_x,y\in D_y$$
  当随机变量$X$的值是实数时，$X$称为实随机变量，$X$的均值或期望值定义为：
  $$E(X)\triangleq \sum _{x}xP(x)$$
• 给定事件$Y=y$，$X$的条件均值定义为：
  $$E(X|y)\triangleq \sum _{x}P(x|y)$$
  关于$X$的函数$g$的期望定义为：
  $$E[g(X)]\triangleq \sum _{x}g(x)P(x)$$
• 函数$g(X)=(X-E(X){)}^2$尤其受到关注，它的期望称为$X$的方差，表示为${\sigma }_X^2$：
  $${\sigma }_X^2\triangleq E[(X-E(X){)}^2]$$
• 变量$X$和$Y$的函数g(X,Y)的期望需要用到联合概率P(x,y)，定义如下：
  $$E[g(X,Y)]\triangleq \sum _{x,y}g(x,y)P(x,y)$$

条件独立与图

• $(X\perp \perp Y|Z)$表示给定$Z$的$X$与$Y$的条件独立，因此：
  $$(X\perp \perp Y|Z{)}_p当且仅当P(x|y,z)=P(x|z)$$
  对于所有满足$P(y,z)>0$的值$x,y,z$。无条件独立（也称为边缘独立）表示为$(X\perp \perp Y|\varnothing )$。即：
  $$(X\perp \perp Y|\varnothing )当且仅当P(x|y)=P(x)只要P(y)>0$$
• 注意，$(X\perp \perp Y|Z)$意味着任何变量对$V_i\in X$与$V_j\in Y$的条件独立，但反之未必为真。
• 条件独立关系$(X\perp \perp Y|Z)$满足的部分性质：
  对称性：$(X\perp \perp Y|Z)\Rightarrow (Y\perp \perp X|Z)$
  分解性：$(X\perp \perp YW|Z)\Rightarrow (X\perp \perp Y|Z)$
  弱联合性：$(X\perp \perp YW|Z)\Rightarrow (X\perp \perp Y|ZW)$
  收缩性：$(X\perp \perp Y|Z)\&(X\perp \perp W|ZY)\Rightarrow (X\perp \perp YW|Z)$
  相交性：$(X\perp \perp W|ZY)\&((X\perp \perp Y|ZW)\Rightarrow (X\perp \perp YW|Z)$
  相交性在严格的正概率分布条件下成立。
• 在图中，如果我们将$(X\perp \perp Y|Z)$解释为“从节点子集X到节点子集Y的任何路径均被节点子集Z阻断”
• 对称性公理表明，无论以何种形式获悉$Z$后，如果$Y$不能告诉我们关于$X$的任何新信息，那么$X$也不能告诉我们关于$Y$的任何新信息。
• 分解性公理断言，如果判定两个合并的信息项与$X$不相关，那么每一个分项也与$X$不相关。
• 弱联合性公理表明，获悉$W$与$X$不相关的信息不能使原来与$X$不相关的$Y$变得与$X$相关
• 收缩性公理表明，如果获悉$Y$与$X$不相关的信息后判定$W$与$X$无关，那么获悉$Y$之前$W$一定与$X$无关。
• 相交性公理表明，如果获悉$W$后$Y$与$X$不相关且获悉$Y$后$W$与$X$不相关，那么$W$与$Y$（或者它们的组合）都与$X$不相关。