转自:https://blog.csdn.net/lyn5284767/article/details/81358611
一,介绍
学习混合高斯,先要了解几个概念:
1,协方差:
协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关,协方差越大,完全线性无关,协方差为零。 根据数学期望的性质:
推导协方差为:
2,协方差矩阵:
对多维随机变量X=[X1,X2,X3,...,Xn],我们往往需要计算各维度两两之间的协方差,这样各协方差组成了一个n×n的矩阵,称为协方差矩阵:
百度百科给出的实例:
3,服从高斯分布的概率密度函数:
可以看出高斯分布由均值向量μ和协方差矩阵∑这两个参数确定,故将概率密度函数记为:p(x|μ,∑) 可定义高斯混合分布为:
给定一组数据,假设该数据由多个高斯分布产生,现在我们要估计这些高斯分布的参数,以及每个样本属于每个高斯分布的概率,那么根据样本推测出元GMM的概率分布就可以了。具体求解借助EM算法可得。
二,公式推导
假设有K个样本,服从C个高斯分布,随机抽取一个样本X得到:
其中,为协方差矩阵,是聚类的中心(向量均值) 根据上式,可以写出关于样本值(第i个样本)的概率密度函数:
再根据贝叶斯定理: