统计学习方法笔记-EM算法的应用（对高斯混合模型进行参数估计内含Python实现)

最新推荐文章于 2022-09-09 13:23:42 发布

三岁就很萌@D

最新推荐文章于 2022-09-09 13:23:42 发布

阅读量1.5k

点赞数 4

分类专栏：统计学习方法机器学习算法

本文链接：https://blog.csdn.net/qq_44822951/article/details/109723157

版权

一高斯混合模型

在这里插入图片描述

二使用EM算法对高斯混合模型进行参数估计

假设观测数据y₁,y₂,…y_n 由高斯混合模型生成

在这里插入图片描述
因为高斯混合模型是由许多高斯模型组合而成的，我们无法确定某一个观测数据y_j 具体是由哪一个高斯模型生成的，这也就是我们这个概率模型的一个隐变量。它的定义如下:

在这里插入图片描述第一步我们先得出这个问题的完全数据的对数似然函数

第二步根据EM算法我们要计算Q函数

在这里插入图片描述
第三步根据EM算法要求出极大化Q函数的参数

即求
在这里插入图片描述

在这里插入图片描述下求偏导数并令其为 0 得到的。

在这里插入图片描述

下面给出高斯混合模型参数估计的EM算法流程
在这里插入图片描述

三代码实现

class Gaussian_EM:
    def __init__(self,Train,K,M):
        # Train 表示观测变量
        self.Train = Train
        # K表示高斯混合模型有多少分量
        self.K=K
        #a 表示高斯混合模型中每一个模型前面的系数
        self.a=[0.4,0.5,0.1]
        #avg,var=self.init_e_and_var()
        # var 表示高斯混合模型中每一个模型的方差
        self.var=[1000,500,100]
        #u 表示高斯混合模型中每一个模型的期望
        self.u =[16,28,45]
        #迭代次数
        self.M=M
        #第j 个观测来自第k个分模型的概率
        self.gama=None


    def init_e_and_var(self):
        #初始化期望方差
        sum=0
        for i in range(self.Train.shape[0]):
            sum+=self.Train[i]