不确定推理---人工智能

概率的概念：使它成立的世界的概率之和。

无条件概率(unconditional probability)或 先验概率(prior probability) ——无任何其他信息下命题的信念度 

证据——一些已经透露的信息

条件概率(conditional probability)或 后验概率(posterior probability)——给定证据下命题的信念度 

边缘

边缘概率只考虑x或只考虑xy。

对应加法法则，

 边缘化（求和消元）：通过加法合并折叠的行

§边缘分布是消除某个（些）变量的子表

联合概率

同时考虑xy。

乘法法则

有时已知条件分布，需要联合分布 

链式法则

条件概率

联合概率除以边缘概率。

条件概率可以理解为对联合概率的归一化过程（结果相同）

§ 步骤 1 ：计算 Z= 所有条目的总和

§ 步骤 2 ：将每个条目除以 Z

贝叶斯规则

执果索因

用大写字母表示随机变量

事件是一组结果

独立性

两个变量独立，边缘独立、绝对独立：

另一种表示，y事件发生与否对x没有影响。

表示为：

条件独立性

 给定Z，X条件独立于Y，

在给定z的情况下，y是否发生对x没有影响

条件独立可以简化链式法则

贝叶斯网络

▪节点: 带值域的变量 

▪弧（有向弧）: interactions相互关系 

▪箭头意味着直接因果关系。 只有变量 绝对独立的分布才能用没有弧的贝叶斯网 来表示

贝叶斯网络 =（图）拓扑结构+局部条件概率 

条件概率表CPT

 每个节点都对应着一个CPT，指明了该变量与父节点之间概率依赖的数量关系。

父节点会影响子节点。

贝叶斯拓扑结构蕴含条件独立性

链式法则的简化，对于贝叶斯网络中的子节点，其概率仅依赖于所有的父节点。

       当加入节点Xi，确保其父节点 “阻塞”了它与其他祖先节点的联系

       给定Xi的父节点，每个变量条件独立于它的非子孙节点变量(即所有它之前的变量)

和之前的变量，没有关系，则不影响条件概率

子节点只受其父节点的影响。

性质：

节省了大量空间！局部CPT

还可以更快地回答查询

BNs 反映出真正的因果模式

BNs 不必是因果关系

有时域上不存在因果网络（尤其是缺少变量时）例如，变量Traffic（交通堵塞）和Drip（屋顶滴雨），反映相关性而非因果关系

拓扑结构可能恰好对因果结构进行编码

拓扑结构真正编码条件独立性

条件独立性判断

（重要，根据Active/inactive triplet来判断条件独立性）

----》

------》

有如下关系：每个子节点只收到自己父节点的影响，所以在父节点确定的情况下，他和前面的其他节点独立。

       

因果链

给定Y ，保证X独立于Z！！！！！！！！！！

当Y不是观测变量，值不确定，X会通过影响Y值进而影响Z值，具备流动性。

当Y是观测变量，值确定了，X就影响不到Z了。

因果链上的证据“阻塞”了影响。

共因链

观察原因可以阻断结果之间的影响。

x,z是受y影响的结果。

 共果链

观察一种结果反而会激活可能原因之间的影响。

D-separation D-分离激活/非激活路径 

只需要记住非激活的三种！

 考虑从 X 到 Y 的所有（无向）路径，无激活路径 = 独立！

一条路径只要有一个三元组非激活那路径就处于非激活状态：

如果每个三元组都处于激活状态，那么路径处于激活状态：（不独立）

§ 因果链 A -> B -> C ，其中 B 未被观察 （任一方向）。

§ 共因链 A <- B -> C ，其中 B 未被观察 。

§ 共果链 (v 型结构 )A -> B <- C ，其中 B 或其后代中一个被观察 。 

阻断一条路径只需要一个非激活的路径！如果要证明不独立，需要每个节点都是激活的！

示例：

 检查所有的 Xi和 Xj之间的（无向！）路径。如果存在有一个或多个处于激活状态，则不能保证独立性

否则,如果所有路径都非激活,则保证独立性

 阻断一条路径，只需要一个三元组非激活，但要证明两节点独立，需要阻断所有的路径

局部马尔可夫

（a）给定父节点（浅紫色区域中所示的Ui），节点X条件独立于它的非子孙节点（例如，Zi j）。

（b）给定它的马尔可夫毯（浅紫色区域：父结点、子结点以及子结点的父结点），节点X条件独立于网络中的所有其他节点。

朴素贝叶斯

共因链：

给定“原因” 变量时，“结果”变量不是严格独立，是条件独立。

给定“原因” 变量时，

“结果”变量不是严格独立，是条件独立。

朴素贝叶斯分类

贝叶斯网络的精确推理和近似推理

通过枚举进行推理

我们想要

h1,h2,……hr是其余的未知变量

评估树

 枚举是低效的：重复计算，例如，对于每个e 的值计算P (j|a)P (m|a)。

使用评估树，存储值，不用进行重复计算。

计算过程自顶向下，沿着每条路径将值相乘，并在“+”节点上求和。

递归深度优先枚举：O(n)空间，O(dn)时间

求解过程：

 选择任何已知值

连接所有因子，然后求出所有隐藏变量的总和

连接因子：

使用链式法则

消除、边缘化

§ 取一个因子，求一个变量的和

多重链接，多重消除（=枚举推理）

 变量消元

变量消元，边链接，边消除变元。

选择已知值，就可以消除除查询 + 证据之外的所有变量

标准化的过程就是求条件概率的过程。

P(L|+r)=P(+r,L)/P(+r)=P(+r,L)/[P(+r,+l)+P(+r,-l)]

采样

 为什么要采样？学习：从未知分布中获取样本

推理：获取样本比计算正确答案更快（例如使用变量消除法）例如上面使用的朴素贝叶斯分类，根据已知来推概率会容易的多

先验采样

按照拓扑顺序依次对每个变量进行采样

对实际生成的样本进行计数来计算

拒绝采样

拒绝所有与证据不匹配的样本，剩余样本中统计频次，计算估计概率

§ 拒绝采样的问题 :

§ 如果证据不可能存在，就会剔除大量样本

§ 考虑 P( Shape | blue ) 

§ 拒绝太多

 似然加权

 固定证据变量，仅对非证据变量进行抽样，并根据其与证据的似然性对每个样本进行加权。