Explaining away

Explaining away是造成Sigmoid Belief Net学习困难的一个重要原因，理解并不直观，用概率表格形式来解释更加直观。

1. 独立事件概率表

假设A, B, C三事件相互独立，发生的概率分别为a, b,c。概率表如下：

A	B	C	P(A,B,C)
0	0	0	(1-a)(1-b)(1-c)
0	1	0	(1-a)b(1-c)
1	0	0	a(1-b)(1-c)
1	1	0	ab(1-c)
0	0	1	(1-a)(1-b)c
0	1	1	(1-a)bc
1	0	1	a(1-b)c
1	1	1	abc

这时，P(A,B|C)=P(A|C)P(B|C)，举例说明如下：
$p(A=0|C=0)=1-a$
$p(B=0|C=0)=1-b$
$p(A=0,B=0|C=0)=p(A=0|C=0)p(B=0|C=0)=(1-a)(1-b)$

2. 条件依赖

假设A、B、C三事件不独立，上述概率中下面两项改变：
$p(0,1,0)=(1-a)b(1-c)+\epsilon$，$p(0,1,1)=(1-a)bc-\epsilon$
可以看出,
$p(A,B)=p(A)p(B)$
但是,
$p(A,B|C)\neq p(A|C)p(B|C)$

3. Explaining away

$p(B|A,C)=\frac{p(A,B,C)}{p(A,B,C)+p(A,\bar B,C)}$
$p(B|\bar A,C)=\frac{p(\bar A,B,C)}{p(\bar A,B,C)+p(\bar A,\bar B,C)}$
$p(B|C)=\frac{p(A,B,C)+p(\bar A,B,C)}{p(A,B,C)+p(A,\bar B,C)+p(\bar A,B,C)+p(\bar A,\bar B,C)}$
假设 $p(B|A,C) < p(B|\bar A,C)$
所以，
$p(B|A,C) <p(B|C)$
在这种情况下，对于事件C发生的前置事件A，B，未观察A时B的后验概率大于观察A后B的后验概率，即证据增加并未导致信念增加，这就是Explaining away。
如果没有Explaining away现象，
则：$p(B|A,C) = p(B|\bar A,C)$
则，$p(B|A,C) = p(B|C)$
$p(A,B|C)=p(B|A,C)p(A|C)=p(A|C)p(B|C)$
可见如果没有Explaining away现象，则A，B关于C条件独立。