学习高斯混合模型

最新推荐文章于 2022-05-02 12:46:55 发布

qq_36580561

最新推荐文章于 2022-05-02 12:46:55 发布

阅读量129

点赞数

本文链接：https://blog.csdn.net/qq_36580561/article/details/82467145

版权

由于近期检测工作中需要构建概率模型，经由老师推荐，选用高斯混合模型。因此在此记录对高斯混合模型的学习内容。

混合高斯模型用来根据训练样本构建数据的概率模型，从而对测试数据的概率值进行预测。

1 所涉及公式介绍

高斯混合模型公式：

$p\left ( x\right )=\sum_{k=1}^{K}\pi _{k}N(x|\mu_{k}, \varepsilon _{k} )$ （1）

其中x为样本数据，一共包含K个高斯模型， $\pi _{k}$ 表示第k个高斯模型所占权重， $\mu_{k}, \varepsilon _{k}$ 为第k个高斯模型的均值与方差。

极大似然估计：

$E(\pi ^{_{k}}, \mu^{_{k}}, \varepsilon ^{_{k}})=|\sum_{i=1}^{N}log[p(x_{i})]|$ (2)

最大化上述结果，或者加上负号后最小化上述结果。

2 模型构建过程

混合高斯模型一般采用EM算法（期望最大化）来进行模型构建，

首先随机化初始参数， $\pi_{_{k}}, \mu_{_{k}}, \varepsilon_{k}$
计算此时第n个样本落在第k个高斯模型的概率： $\gamma _{n, k}=\frac{\pi_{k}N(x_{n}|\mu_{k}, \varepsilon _{k})}{\sum_{k=1}^{K}\pi_{k}N(x_{n}|\mu_{k}, \varepsilon _{k})}$
根据此时模型的参数来对参数进行更新（ $N_{k}=\sum_{n=1}^{N}\gamma _{n, k}$ 表示第k个高斯模型中所包含的样本数）： $\pi_{k}=\frac{N_{k}}{N}, \mu_{k}=\frac{1}{N_{k}}\sum_{n=1}^{N}\gamma _{n, k}x_{n}, \varepsilon _{k}=\frac{1}{N_{k}}\sum_{n=1}^{N}\gamma _{n, k}(x_{n}-\mu_{k})(x_{n}-\mu_{k})^{T}$
再进行第二次迭代，直至最终公式（2）中的结果不再发生明显较大的变化（此处要根据训练结果自己进行调整）

关注