gmm中隐变量是什么的_机器学习-隐变量模型和期望最大算法

目录

1 隐变量模型

1.1 隐变量模型意义

1.2 高斯混合模型 GMM

1.3 其他模型(应用)

2 期望最大算法(EM)

2.1 EM算法意义

2.2 EM算法推导

2.3 EM算法

2.4 EM收敛性

3 隐变量模型和EM算法的应用

3.1 隐变量模型应用

3.2 EM应用和可求解的问题

符号：观测变量

，隐含变量

。

1 隐变量模型

1.1 隐变量模型意义

对于一些问题，直接使用观测的变量建模会导致问题过于复杂，或者无法得到很好的结果。但是，隐变量可以可以为部分问题提供一个很好的作为观测数据和目标结果之间的桥梁。

1.2 高斯混合模型 GMM

高斯混合模型就是由多个高斯模型组合在一起的混合模型(可以理解为多个高斯分布函数的线性组合，理论上高斯混合模型是可以拟合任意类型的分布)，例如对于下图中的数据集如果用一个高斯模型来描述的话显然是不合理的：

(EM算法的一个重要应用场景就是高斯混合模型的参数估计。)

两个高斯模型可以拟合数据集，如图所示：

相关分布

观测数据是在某个隐含变量条件下的高斯分布

隐含变量满足多项分布

即

完全数据满足概率

高斯混合模型

1.3 其他模型(应用)

K-Means, Probablistic PCA (降维)

CS229中的例子, Prof. Andrew Ng以 Anomaly Detection 异常检测为例子，使用GMM模型判断一个异常点是否在GMM整体概率低的地方

2 期望最大算法(EM)

2.1 EM算法引入

对于参数估计我们一般使用MLE，但是对于带有隐变量的模型，如下似然中隐变量

和参数