邱锡鹏 神经网络与深度学习课程【十五】——概率图模型2和3

学习：

参数学习：给定一组训练样本，求解模型参数 进行参数估计

有向图：

在贝叶斯网络中，所有变量x的联合概率分布可以分解为每个随机变量x_k的局部条件概率的连乘形式

 无向图：

以对数线性模式为例

含隐变量的参数估计

隐变量即变量是不可观测的 图中x为可观测变量 z为不可观测变量

 高斯混合模型：

高斯混合模型难点：因为z是不可观测的，不知道具体那个样本具体来自那个高斯，简单的解法：K-means

 主要两步

 含有隐变量的参数估计：期望最大化 Expectation-Maximum 算法 思想首先找一个q(Z)使得KL尽可能为0 然后就最大化ELBO

 

 

 收敛性：

 GMM Revisit E步

 M步

 最后结果

 图示：

 K-means vs EM

推断：

给定部分变量，推断另一部分变量的后验概率

不同的图模型 推断P(x|y)难度不一样

 推断分类

 如何计算边际概率

计算边际概率

 应用乘法的分配律可以大大减少计算量 变量消去法

 为了减少重复计算 信念传播算法 Belief Propagation

 举例：链上传播

 详细计算

 链式结构图模型的信念传播过程：

 更一般的推断：树结构

 近似推断：