泛统计理论初探——GMM算法初探

统计学习-GMM算法简介

高斯混合模型简介
在本文中，主要是延续之前的EM算法的基础上，简单的介绍一些GMM算法，GMM算法的全称是高斯混合模型，即英文名Gaussian Mixed Model ，该算法的核心思想是用加权的方式，结合多个高斯分布去进行数据分布的逼近，其真正的意义是因为多个高斯模型的组合可以逼近任意数据的分布形式。
高斯模型的形式是由两个参数决定的，即均值和标准差，当确定了这两个参数以后就可以确定当前数据的分布，而高斯混合模型正是借鉴了这一思路，通过使用多个高斯混合模型，并且用权重进行组合W1、W2、W3…Wn ,其中这些权重满足和为1的限制，经过组合后的混合模型就在理论上可以逼近任意的分布。

根据上图的数据分布我们可以很直观地发现，明显数据不是处于一个簇的分布之内，所以不可以用单一的高斯分布去进行刻画。而是需要采用3个高斯分布进行组合，进而去刻画出上图的数据分布。
其实我们再将高斯混合模型和之前文章探讨过的Kmeans算法进行比较，我们可以发现高斯混合模型和Kmeans模型有些相似的地方。比如高斯混合模型也需要事先确定N个高斯分布，Kmeans需要事先确定K的大小，正是由于这种先验参数的确定，所以需要先观察数据的分布，并且高斯混合模型也是受N的大小的强烈影响，如果N的值定的过大会造成模型的过拟合，如果N的值确定的比较小会造成欠拟合，而当数据呈现高维特征的时候，数据的分布不是那么直观，这种时候需要确定N的值是非常困难的，通常可以辅助其他手段进行分类&#