高斯分布,也就是所谓的正态分布,在1维的情况下,参数是均值和方差,比较好理解的。在高维的情况下,输入x变成了一个n维的向量,相应高维高斯分布的参数也就变成了,n维向量的均值,还有n维向量的协方差矩阵。
对于单高斯分布,参数可以用最大似然法估计,所谓最大似然法,首先写出分布的似然,,然后取对数,把连乘变为加号,方便求导,最后就是求导寻找argmax。
而对于由K个单高斯分布组成的高斯混合模型,由于这K个分布的参数也未知,无法判断当前数据点是属于哪一个模型的隐变量,这时就可以用EM模型通过迭代来进行含有隐变量概率模型的最大似然估计,所谓隐变量就是无法观测到,但对系统的输出和状态有影响的变量。
参考博客: