【XAI】Comment: Graphical Models, Causality and Intervention

主题.

• 图模型 $\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{p}\mathrm{h}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{M}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}\mathrm{s}$ 与统计分析因果性 $\mathrm{C}\mathrm{a}\mathrm{u}\mathrm{s}\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{t}\mathrm{y}$ 之间的关系。

因果模型.

• 图模型是我们用于研究因果性的重要助力，$\mathrm{P}\mathrm{e}\mathrm{a}\mathrm{r}\mathrm{l}$ 在该文章中重点就是讨论图模型如何与因果模型关联起来。
• 区别于一般的联合分布告诉我们某个事件发生的可能性有多大，因果模型还会给出系统中出现外部干预时概率的变化情况。
• 基于图模型来研究因果性面临着以下两个挑战：
• $①$ 如何将复杂的外部干预融入图模型中予以组织、表示；
• $②$ 如何利用图模型来促进对于外部干预影响的预测任务。
• 在图模型中引入外部干预非常易于执行，这一良好性质根源于图模型本身。$\mathrm{S}\mathrm{i}\mathrm{m}\mathrm{o}\mathrm{n}$ 于 $1977$ 年对其进行了简要的论述：
  

---

• $\mathrm{P}\mathrm{e}\mathrm{a}\mathrm{r}\mathrm{l}$ 和 $\mathrm{V}\mathrm{e}\mathrm{r}\mathrm{m}\mathrm{a}$ 于 $1991$ 年提出了概率因果理论，即有向无环图 $\mathcal{G}$ 中的每个节点与其父亲节点集合之间的关系由函数 $f$ 形式化描述：$$X_i=f_i({\mathrm{p}\mathrm{a}}_i,{ϵ}_i)\text{\hspace{1em}(1)}$$并且整个概率图的联合分布依旧满足马尔可夫性：$$P(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}P(x_i|{\mathrm{p}\mathrm{a}}_i)\text{\hspace{1em}(2)}$$
• $(1)$ 式中函数 $f_i$ 代表了一种确定性映射法则，如果将由于外部干预而造成法则 $f_i$ 的改变表示为随机变量 $F_i$，那么 $(1)$ 式可以更加普遍地写为：$$X_i=h_i({\mathrm{p}\mathrm{a}}_i,F_i,{ϵ}_i)\text{\hspace{1em}(3)}$$当 $F_i=f_i$ 时，有 $h_i({\mathrm{p}\mathrm{a}}_i,F_i,{ϵ}_i)=f_i({\mathrm{p}\mathrm{a}}_i,{ϵ}_i).$
• $(3)$ 式的意义在于，对于任意外部干预引起的映射法则变化 $F_i$ 可以通过为 $X_i$ 增加父亲节点这一操作融入图模型中进行表示。

外部干预.

• 最简单的外部干预 $F_i$ 就是将随机变量 $X_i$ 的取值固定，例如：$$F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a)\text{\hspace{1em}(4)}$$这一外部干预等价于用 $X_i=a$ 这一等式关系替换 $(1)$ 式。
• $(4)$ 式代表的外部干预反映在 $\mathrm{D}\mathrm{A}\mathrm{G}$ 图中为一条新增的边 $F_i\to X_i$ ，下图中分别以 $\Gamma ,{\Gamma }^{\prime }$ 表示原概率图和新概率图：
  
• 如果 $F_i\in \{\mathrm{n}\mathrm{u}\mathrm{l}\mathrm{l},\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a)\}$，那么变量 $X_i$ 的父结点集合更新为 p a i ′ = p a i ⋃ { F i } {\rm pa}_i'={\rm pa}_i\bigcup\{F_i\} pai′​=pai​⋃{Fi​}，对应的条件概率分布更新如下：$$P(x_i|{\mathrm{p}\mathrm{a}}_i^{\prime })=\{\begin{array}{rl}& P(x_i|{\mathrm{p}\mathrm{a}}_i),F=\mathrm{n}\mathrm{u}\mathrm{l}\mathrm{l}\\ & 1,F=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a)\wedge x_i=a\\ & 0,F=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a)\wedge x_i\ne a\end{array}\text{\hspace{1em}(5)}$$其中 $\mathrm{n}\mathrm{u}\mathrm{l}\mathrm{l}$ 表示不做外部干预。
• $(2)$ 式中的联合分布 $P(x_1,x_2,\cdots ,x_n)$ 由于外部干预 $\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a)$ 的影响，更新为 $P_a(x_1,x_2,\cdots ,x_n)$：$$P_a(x_1,x_2,\cdots ,x_n)=P^{\prime }(x_1,x_2,\cdots ,x_n|F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))\text{\hspace{1em}(6.1)}$$其中 $P^{\prime }$ 是由新概率图 Γ ′ = Γ ⋃ { F i } \Gamma'=\Gamma\bigcup\{F_i\} Γ′=Γ⋃{Fi​} 确定的联合分布。
• 对 $(6.1)$ 式进一步分析可知：$$\begin{array}{rl}& P^{\prime }(x_1,x_2,\cdots ,x_n|F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))\\ & =P^{\prime }\left(x_i\right|x_1,x_2,\cdots ,x_{i-1},x_{i+1},\cdots ,x_n,F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))\\ & \cdot P^{\prime }(x_1,x_2,\cdots ,x_{i-1},x_{i+1},\cdots ,x_n|F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))\\ & =P^{\prime }\left(x_i\right|F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))\cdot P^{\prime }(x_1,x_2,\cdots ,x_{i-1},x_{i+1},\cdots ,x_n)\end{array}$$并且有：$$P^{\prime }(x_i=a|F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))=1$$$$P^{\prime }(x_i\ne a|F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))=0$$因此得到如下表达式：$$P_a(x_1,x_2,\cdots ,x_n)=\{\begin{array}{rl}& \frac{P(x_1,x_2,\cdots ,x_n)}{P(x_i|{\mathrm{p}\mathrm{a}}_i)},x_i=a\\ & 0,x_i\ne a\end{array}\text{\hspace{1em}(6.2)}$$观察 $(6.2)$ 式发现，$P_a(x_1,x_2,\cdots ,x_n)$ 的值等于从联合分布 ${\prod }_{k=1}^{n}P(x_k|{\mathrm{p}\mathrm{a}}_k)$ 中移除了第 $i$ 项 $P(x_i|{\mathrm{p}\mathrm{a}}_i).$
• $(6.2)$ 式是容易理解的，因为外部干预 $F_i$ 的存在，原父亲节点集合 ${\mathrm{p}\mathrm{a}}_i$ 对于 $X_i$ 不再产生影响。

---

• 从 $(6.1)$ 式可以推知以下等式：$$P_a(S|{\mathrm{p}\mathrm{a}}_i)=P(S|x_i=a,{\mathrm{p}\mathrm{a}}_i)\text{\hspace{1em}(7)}$$其中 $S$ 是任意变量集合。$(7)$ 式之所以成立，是因为集合 { X i } ⋃ p a i \{X_i\}\bigcup{\rm pa}_i {Xi​}⋃pai​ 有向分割 $d-\mathrm{s}\mathrm{e}\mathrm{p}\mathrm{a}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}$ 了 $F_i$ 与 $\mathcal{G}$ 的其余部分，因此有以下的条件独立性成立： S ⊥  ⁣ ⁣ ⁣ ⁣ ⊥ ( F i ∣ { X i } ⋃ p a i ) S\perp\!\!\!\!\perp\Big(F_i\Big|\{X_i\}\bigcup{\rm pa}_i\Big) S⊥⊥(Fi​∣∣∣​{Xi​}⋃pai​)
• 【疑惑】参考概率图 ${\Gamma }^{\prime }$，实际上集合 { X i } \{X_i\} {Xi​} 就能够有向分割 $F_i$ 与 $\mathcal{G}$ 的其他部分。

---

• $(6.2)$ 式明确如下事实：我们可以从进行干预前的分布 $P(x_1,x_2,\cdots ,x_n)$ 中推知干预后的分布 $P_a(x_1,x_2,\cdots ,x_n).$

---

• 当估计 $(6.2)$ 式中分母 $P(x_i|{\mathrm{p}\mathrm{a}}_i)$ 有难度时，可以从 $(6.1)$ 式入手。以概率 $P_a(x_j)$ 为例，根据 $(6.1)$ 式可得：$$\begin{array}{rl}{P}_a(x_j)& =P^{\prime }\left(x_j\right|F_i=\mathrm{s}\mathrm{e}\mathrm{t}(X_i=a))\\ & =\sum _S{P}^{\prime }\left(x_j\right|S,F_i)\cdot P^{\prime }(S|F_i)\end{array}$$观察发现：$$\begin{array}{rl}{P}^{\prime }\left(x_j\right|S,F_i)& =\sum _{x_i}{P}^{\prime }\left(x_j\right|x_i,S,F_i)\cdot P^{\prime }(x_i|S,F_i)\\ & =P^{\prime }\left(x_j\right|X_i=a,S,F_i)\cdot P^{\prime }(X_i=a|S,F_i)\\ & =P^{\prime }\left(x_j\right|X_i=a,S,F_i)\end{array}$$将其代入上式得到：$$P_a(x_j)=\sum _S{P}^{\prime }\left(x_j\right|X_i=a,S,F_i)\cdot P^{\prime }(S|F_i)\text{\hspace{1em}(8.1)}$$
• 如果有 $S\perp \perp F_i$ 和 X j ⊥  ⁣ ⁣ ⁣ ⁣ ⊥ ( F i ∣ { X i } ⋃ S ) X_j\perp\!\!\!\!\perp\Big(F_i\Big|\{X_i\}\bigcup S\Big) Xj​⊥⊥(Fi​∣∣∣​{Xi​}⋃S) 成立，那么 $(8.1)$ 式可以简化为：$$P_a(x_j)=\sum _{S}P\left(x_j\right|S,X_i=a)\cdot P(S)={\mathbb{E}}_S[P\left(x_j\right|S,X_i=a\left)\right]\text{\hspace{1em}(8.2)}$$$(8.2)$ 式的意义在于指明可以通过对分布 $P\left(x_j\right|S,X_i=a)$ 求取期望来获得对 $P_a(x_j)$ 的估计。
• 另外可以证明，所以满足 $\mathrm{B}\mathrm{a}\mathrm{c}\mathrm{k}-\mathrm{D}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{C}\mathrm{r}\mathrm{i}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{n}$ 的集合 $S$ 都满足 $(8.2)$ 式的简化条件。