混合高斯模型

混合高斯模型

基本概念

混合高斯模型指的是将多个高斯分布进行加权叠加，在数学上就是将多个不同的高斯分布的概率密度函数进行加权叠加，形成一个新的概率密度函数表达式，用于描述当前情形下的样本分布：
$$p(x)=\sum _{k=1}^K{\alpha }_{k}N({\mu }_k,{\Sigma }_k),其中\sum _{k=1}^K{\alpha }_k=1$$

高斯混合模型求解

混合高斯模型中含有隐变量，就是说样本不知道是由哪一个高斯模型产生。因此求解混合高斯模型需要用到EM算法。EM算法需要求解的参数是：
$$\theta =(p_1,p_2,\cdots ,p_K,{\mu }_1,{\mu }_2,\cdots ,{\mu }_K,{\Sigma }_1,{\Sigma }_2,\cdots ,{\Sigma }_K)$$
经过EM算法得到$\theta$的迭代结果。
$$\begin{array}{rl}& {\mu }_k^{t+1}=\frac{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})x_i}{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})}\\ & \\ & {\Sigma }_k^{t+1}=\frac{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})(x_i-{\mu }_k^{(t)})(x_i-{\mu }_k^{(t)}{)}^T}{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})}\\ & \\ & P(z_i|x_i,{\theta }^{(t)}=\frac{p_{z_i}^{(t)}N(x_i|{\mu }_{z_i}^{(t)},{\Sigma }_{z_i}^{(t)})}{{\sum }_{k=1}^K{p}_k^{(t)}N(x_i|{\mu }_k^{(t)},{\Sigma }_k^{(t)})})\end{array}$$

混合高斯分布模型分类代码实现

# -*- coding: utf-8 -*-
# @Use     : 
# @Time    : 2022/8/27 21:30
# @FileName: MixGaussian.py
# @Software: PyCharm

import matplotlib.pyplot as plt
from sklearn.mixture import GaussianMixture
from sklearn.datasets._samples_generator import make_blobs

X, y_true = make_blobs(n_samples=1000, centers=4)
fig, ax = plt.subplots(1, 2, sharex='row')
ax[0].scatter(X[:, 0], X[:, 1], s=5, alpha=0.5)

gmm = GaussianMixture(n_components=4)
gmm.fit(X)

print(gmm.weights_)  # 权重
print(gmm.means_)  # 均值
print(gmm.covariances_)  # 协方差
print(gmm.predict_proba(X)[:10].round(5))

labels = gmm.predict(X)
ax[1].scatter(X[:, 0], X[:, 1], s=5, alpha=0.5, c=labels, cmap='viridis')
ax[1].grid(ls='--')
plt.show()