机器学习 --- 概率图 - 概述

简述

• 概念
  • 概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。
  • 概率图模型在机器学习的诸多场景中都有着广泛的应用。
    • 朴素贝叶斯模型、最大熵模型、主题模型
    • 马尔科夫随机场、条件随机场
    • 隐马尔科夫模型、多元高斯模型
    • Kalman滤波、粒子滤波、变分推理等
  • 当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。
• 历史
  • 历史上，曾经有来自不同学科的学者尝试使用图的形式表示高维分布的变量间的依赖关系
  • 在人工智能领域，概率方法始于构建专家系统的早期尝试
  • 20世纪80年代末，在贝叶斯网络和一般的概率图模型中的推理取得重要进展
    • 1988年，人工智能领域著名学者Pearl提出了信念传播(BP)算法，BP算法把全局的概率推理过程转变为局部变量间的消息传递，从而大大降低了推理的复杂度。
  • 2003年，Wainwright等人提出了树重置权重信度传播算法，其主要思想是将一个有换概率图模型分解为若干生成树的加权和，从而将原复杂的推理问题转化为若干树状图模型的推理问题
  • 2008年，Globerson 和 Sontag等人提出了基于线性规划松弛和对偶分解的推理算法
• 应用
  • 概率图模型的推断和学习已广泛应用于机器学习、计算机视觉、自然语言处理、医学图像处理、计算神经学、生物信息学等研究领域，成为人工智能相关研究中不可获取的一门技术

概率图分类

• 有向
  • 离散
    • 贝叶斯网络
    • 最大熵马尔科夫（MEMM）
      • 优点
        • 与HMM对比
          • 打破了 观察独立 假设（通过D分离分析）
          • 判别式模型
      • 缺点
        • 标注偏差问题
          • 原理：局部归一化
      • 优化
        • CRF：去除方向，把有向图变成无向图
  • 连续
    • 高斯图
• 无向
  • 马尔科夫随机场
  • 条件随机场
  • 线性条件随机场
• 动态模型（本质上是有向图）
  • 状态为离散型数据
    • 隐马尔科夫模型
  • 状态为连续型数据
    • 线性：Kalman Filter
    • 非线性：Partitle Filter

概率图模型的表示

• 本质上是建模的过程
• 问题
  • 联合概率分布可以表示为局部势函数的联乘积形式
  • 如何在图模型中引入先验知识

概率图模型的推理

• 问题
  • 边缘概率
  • 最大后验概率状态
  • 求归一化因子
• 算法
  • 精确推理
    • 变量消元法
    • 团树传播算法
    • 信念传播算法
    • 二值图切割
  • 近似推理
    • BP算法的能量最小化解释
    • 基于图切法的近似推理算法
    • 确定性近似（变分推断）
    • 随机近似（MCMC）

概率图模型的学习

• 概述
  • 对于复杂的、缺乏专家经验的概率模型，如果我们有一定数量的观测数据，通常希望能够从观测数据中获得模型的参数甚至结构。
  • 对于常见的场景，可以直接使用专家经验
• 算法
  • 参数学习：已知图模型结构，学习模型的参数
    • 完备数据
    • 隐变量
  • 结构学习：从数据中推断变量之间的依赖关系