机器学习 --- 概率图 - 精确推理

问题

• 边缘概率
• 最大后验概率状态
• 求归一化因子

变量消元法

• 基本思想
  • 逐步从联合概率中消除变量，求解边缘概率
    • 变量消除的顺序：最有消元顺序是NP难问题
    • 可以通过一些启发式的规则优化，如最少临接点
• 算法
  • 边缘概率
    • Sum Product VE
  • 最大后验概率状态（MAP）
    • max-sum elimination
• 应用
  • 求边缘概率
  • 求条件概率

团树传播算法

• 与变量消元法对比
  • 相同点
    • 本质上相同，只是从不同的角度出发
  • 不同点
    • 变量消元法
      • 把全局概率推理转化成局部因子之间的乘积和求和运算
    • 团树传播算法
      • 先构造一个团树
      • 把概率推理计算，转化成团树之间的消息传递
      • 消息传递，本质上也是因子之间的乘积和求和
• 聚类图（Cluster Graphs）
  • 团树（clique tree）：性质
    • 构建算法
      • 通过变量消元法构建
    • 性质
      • 树状图
        • 在变量消元过程中，每个中间因子被使用一次，每个聚类图的节点传递一个消息给唯一的另一个节点，因此整个变量消元过程产生的聚类图为一个树状图
      • 族保持
        • 概率图模型的每个因子必须出现在某个消元步骤，所以满足族保持性质
      • 执行交叉性质（running intersection property）
        • 对于聚类图，如果对于任意变量X属于Ci，X属于Cj，若X也出现在两个节点之间唯一路径上的每个节点，则该聚类图满足执行交叉性质。
    • 团树传播算法
      • 目的
        • 通过团树传播算法计算变量的边缘概率
      • 步骤
        • 利用变量消元构造团树，团树节点势函数初始化
        • 选取变量X所在的节点为根节点
        • 计算叶子节点到根节点的消息
        • 根节点的势函数乘以来自邻节点的消息
        • 计算变量X所在节点的边缘概率
          • 方法一
            • 分别选取不同的节点作为根节点，多次计算边缘概率
          • 方法二
            • 选取任意节点
            • 先从叶子节点传递消息给根节点
            • 再从根节点传递消息至叶子结点
            • 每个节点分别计算自身的势函数乘以来自邻节点的消息

信念传播算法（BP）

• 特点
  • 在树状图模型上收敛，且能得到准确推理结果
  • 在一般图模型上，BP算法为近似推理算法
• Bethe聚类图
  • 本质上：等价于 因子图
• 算法流程
  • 节点势函数初始化
  • 所有消息初始化为1
  • 选取所有边，迭代更新消息
  • 当消息传递收敛时，计算所有节点的信念
    • 在树状图模型中，BP算法收敛，且所有节点的信念收敛为每个节点的边缘概率
• BP 算法与团树传播算法的联系
  • 消息传递
    • 团树传播算法先构造团树，然后在团树上进行消息传递计算
    • BP算法可以在团树上执行，也可以直接在因子图上执行。当BP算法在因子图上执行时，消息传递机制等价于团树传播算法
  • BP算法可以直接在因子图上执行，相比于团树传播算法，没有构造团树的环节，算法更简洁。BP算法只能保持在树状图模型上收敛。

二值图切割

• 前提条件
  • 每个变量的取值数为 2
  • 边上的势函数满足次模式不等式
• 概念
  • 最小 s-t 切分
  • 最大流问题
  • 图可表示