因果图—后门准则

1.贝叶斯网络概率图

1.1 链式法则

$$P(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}P(x_i|x_1,x_2\cdots x_{i-1})$$

举例：$P(x_1,x_2,x_3,x_4)=P(x_1)\ast P(x_2|x_1)\ast P(x_3|x_1,x_2)\ast P(x_4|x_1,x_2,x_3)$
推导过程：
$$\begin{array}{rl}P(x_1,x_2,x_3,x_4)& =P(x_4|x_1,x_2,x_3)\ast P(x_1,x_2,x_3)\\ P(x_1,x_2,x_3,x_4)& =P(x_4|x_1,x_2,x_3)\ast P(x_1,x_2,x_3)\\ P(x_1,x_2,x_3)& =P(x_3|x_1,x_2)\ast P(x_1,x_2)\\ P(x_1,x_2)& =P(x_2|x_1)\ast P(x_1)\end{array}$$
第四个等式是常见的贝叶斯公式

当$x_1,x_2,x_3,x_4$符合下图关系，$x_4$仅依赖于$x_3$，那么在公式1中$P(x_4|x_1,x_2,x_3)$可以改写成$P(x_4|x_3)$，这样需要算的参数数量会减少

当$x_1,x_2,x_3,x_4$符合下图关系，$x_2$不再以$x_1$为条件，那么在公式1中$P(x_2|x_1)$可以改写成$P(x_2)$；同样的$x_2$不再是$x_3$的父节点，$P(x_3|x_1,x_2)$可以改写成$P(x_3|x_2)$

1.2 有向图因式分解公式

$$P(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}P(x_i|x_{p{a}_i})$$

1.chain模式

证明在给定$x_2$(即block $x_1$到$x_3$之间的通路)的条件下，$x_1$和$x_3$独立，即$x_1\perp x_3|x_2$：

$$\begin{array}{rl}根据有向图因式分解公式：P(x_1,x_2,x_3)& =P(x_1)\ast P(x_2|x_1)\ast P(x_3|x_2)\\ 根据链式公式：P(x_1,x_2,x_3)& =P(x_1,x_3|x_2)\ast P(x_2)\\ 得出：P(x_1,x_3|x_2)& =\frac{P(x_1)\ast P(x_2|x_1)\ast P(x_3|x_2)}{P(x_2)}\\ & =P(x_1|x_2)\ast P(x_3|x_2)\\ 所以得到x_1和x_3独立& \end{array}$$

2.Diverge模式

证明在给定$x_2$(即block $x_1$到$x_3$之间的通路)的条件下，$x_1$和$x_3$独立，即$x_1\perp x_3|x_2$：

$$\begin{array}{rl}根据有向图因式分解公式：P(x_1,x_2,x_3)& =P(x_2)\ast P(x_1|x_2)\ast P(x_3|x_2)\\ 根据链式公式：P(x_1,x_2,x_3)& =P(x_1,x_3|x_2)\ast P(x_2)\\ 得出：P(x_1,x_3|x_2)& =P(x_1|x_2)\ast P(x_3|x_2)\end{array}$$

3.Converge/Collider模式

$x_1$和$x_3$独立(即$x_2$block了$x_1$到$x_3$之间的通路)，但在给定$x_2$的条件下，$x_1$和$x_3$不独立：

$$\begin{array}{rl}根据有向图因式分解公式：P(x_1,x_2,x_3)& =P(x_1)\ast P(x_3)\ast P(x_2|x_1,x_3)\\ 根据链式公式：P(x_1,x_2,x_3)& =P(x_2|x_1,x_3)\ast P(x_1,x_3)\\ 得出：P(x_1,x_3)& =P(x_1)\ast P(x_3)\\ 另外一种证明方法：P(x_1,x_3)& =\sum _{x_2}P(x_1,x_2,x_3)\\ & =\sum _{x_2}P(x_1)\ast P(x_3)\ast P(x_2|x_1,x_3)\\ & =P(x_1)\ast P(x_3)\ast \sum _{x_2}P(x_2|x_1,x_3)\\ & =P(x_1)\ast P(x_3)\end{array}$$

D-Separation

  D-Separation是一种用来判断变量是否条件独立的图形化方法。换言之，对于一个DAG(有向无环图)E，D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。
  如果A，B，C是三个集合（可以是单独的节点或者是节点的集合），为了判断 A 和 B 是否是 C 条件独立的， 我们考虑 E 中所有 A 和 B 之间的无向路径 。对于其中的一条路径，如果满足以下两个条件中的任意一条，则称这条路径是阻塞（block）：

（1）路径中存在某个节点 X 是Chain或者Diverge节点，并且 X 是包含在 C 中的；
（2）路径中存在某个节点 X 是Converge节点，并且 X 或 X 的儿子是不包含在 C 中的；
如果 A，B 间所有的路径都是阻塞的，那么 A，B 就是关于 C 条件独立的；否则， A，B 不是关于 C 条件独立的。

例子

判断图中a与b是否在c条件下独立？
  判断 a 和 b 是否是 c下条件独立的： a 到 b 只有一条路径 a->e->f->b 。 考虑路径上的点 e 和 f ：其中e 是Converge类型的，且 e 的儿子节点就是 c ，根据条件2，e不阻断。而节点f是Diverge类型节点，根据条件1，f不在c中，所以也有a，b不是c条件下独立。

判断图中a与b是否在f条件下独立？
  判断 a 和 b 是否是 f 下条件独立的：路径 a->e->f->b 上的所有节点。考虑路径上的点e和f：节点 e 是Converge类型的，e 和她的儿子节点 c 都不在 f 中，所以根据条件2，e是阻断路径的节点。节点 f 是Diverge类型节点，且 f 节点就在 f中，所以 f 节点阻断了路径。 结论：a 和 b是 f 下条件独立的。

2.后门调整准则

2.1 干预 / $do$算子

intervening 与“以变量为条件”(conditioning)的区别：

• 表现形式：$P(Y = y ∣ X = x ) $ vs $P(Y=y|do(X=x))$
• “以变量为条件”是选取观测到T=1的样本子集，“干预”是让所有样本T=1
• “以变量为条件”不改变原始数据的分布，“干预”改变了原始数据的分布

intervening定义与性质：

• 定义：将因果图中结点$X$值修改为$x$，记为$do(X=x)$，可以简写为$do(x)$。
• 性质：在对结点$X$进行干预时，会删除因果图中指向$X$的边，干预节点的概率为1，其他的节点概率保持不变；
  

2.2 截断式因式分解（Truncated Factorization）

$$\begin{array}{rl}根据有向图因式分解公式：P(y,t,x)& =P(x)\ast P(t|x)\ast P(y|t,x)\\ 根据截断式的性质，P(t|x)=1：P(y,x|do(t))& =P(y|t,x)\ast P(x)\\ 边际化x：P(y|do(t))& =\sum _{x}P(y|t,x)\ast P(x)\end{array}$$

$$\begin{array}{rl}P(y|t,x)\ast P(x|t)& =\frac{P(y|t,x)\ast P(x|t)\ast P(t)}{P(t)}=\frac{P(y,t,x)}{P(t)}\\ & =\frac{P(y,x|t)\ast P(t)}{P(t)}=P(y,x|t)\\ & =\sum _{x}P(y|t,x)\ast P(x|t)=\sum _{x}P(y,x|t)\\ & =P(y|t)\end{array}$$

• $P(y|t)$和 $P(y|do(t))$的区别在与一个是乘以$P(x|t)$，一个是乘以$P(x)$
• $P(y|t)$表示相关性，$P(y|do(t))$表示因果性，由于confounder $X$的存在，相关性$\ne$因果性
• 如果切断$x$和$t$之间的联系，那么$P(x)=P(x|t)$

2.3 后门调整（Backdoor Adjustment）

和2.2节同样的DAG图，推导后门调整公式：
$$\begin{array}{rl}P(y|do(t))& =\sum _{x}P(y|do(t),x)\ast P(x|do(t))\\ & =\sum _{x}P(y|t,x)\ast P(x|do(t))\\ & =\sum _{x}P(y|t,x)\ast P(x)\end{array}$$

• 第1个等号：
  $$\begin{array}{rl}\sum _{x}P(y|do(t),x)\ast P(x|do(t))& =\sum _x\frac{P(y|do(t),x)\ast P(x|do(t))\ast P(do(t))}{P(do(t))}\\ & =\sum _x\frac{P(y,do(t),x)}{P(do(t))}\\ & =\sum _x\frac{P(y,x|do(t))\ast P(do(t))}{P(do(t))}\\ & =\sum _{x}P(y,x|do(t))=P(y|do(t))\end{array}$$
• 第2个等号：
    because y blocks all backdoor paths from t to y, the only association flowing from t to y is causal association. so we can remove $do(t)$ in the factor for y
• 第3个等号:
    简单理解就是根据后门准则，给定了$x$，切断了$t\to x\to y$这条路，使得只有$t\to y$这一条路，而这条路是我们想获得的causal association.
  消除$do(t)$是因为：1.$do(t)$切断了$T$的parents，没有in-edge association流向 $T\to W$; 2. 如果存在association则为T 的 out-edge association，则会与Y形成一个collider，association 被 collider 切断。所以T与W独立。下面举个例子，切断$C\to T$的连接，C，T，Y形成collider，由于Y未观测，C和T独立
  

另一种证明方法：
这种证明的方法一个重点是$P_m$分布和$P$一样了？？？

参考资料

链式法则&有向图因式分解公式
d-separation
后门调整参考1
后门调整参考2
primer-ch3.pdf
概率图
因果推断总结