机器学习概要3

31 | 建模连续分布：高斯网络

• 高斯网络采用高斯线性模型建模连续变量，其数字特征为均值向量和协方差矩阵；
• 高斯贝叶斯网络利用多元高斯分布生成独立图，利用信息矩阵计算网络中的条件概率；
• 高斯马尔可夫随机场具有成对马尔可夫性，通过高斯分布可以确定结点势和边势；
• 混合网络是同时具有离散型结点和连续型结点的概率图模型。

32 | 从有限到无限：高斯过程

• 高斯过程由无穷多个随机变量组成，定义的是函数的先验分布；
• 函数空间上的高斯过程是核技巧在概率模型中的应用，通过定义因变量之间的相关性计算输出；
• 参数空间上的高斯过程是在高维空间中进行贝叶斯的回归分析；
• 高斯过程可以通过等价核、似然概率和高斯先验与其他模型联系起来。

33 | 序列化建模：隐马尔可夫模型

• 隐马尔可夫模型由隐藏的状态序列和可见的观测序列构成，能够对时序依赖关系建模；
• 隐马尔可夫模型的定量描述包括初始状态向量、状态转移矩阵和观测矩阵三部分；
• 作为生成模型，隐马尔可夫可以视为混合模型的推广；
• 隐马尔可夫模型的判别方法对应是条件随机场。