原型聚类之高斯混合聚类及Python实现

最新推荐文章于 2024-05-12 23:46:48 发布

汪先森-Young

最新推荐文章于 2024-05-12 23:46:48 发布

阅读量5.9k

点赞数 3

分类专栏：聚类详细讲解文章标签：机器学习

本文链接：https://blog.csdn.net/FAICULTY/article/details/79343640

版权

本文介绍了高斯混合模型聚类（GMM）的基本概念，阐述了GMM作为概率聚类方法的工作原理。通过Python代码展示了如何使用scikit-learn实现EM算法进行GMM聚类，并讨论了GMM的优缺点，包括其在概率密度估计上的应用和可能面临的计算挑战。此外，还提供了实验结果和相关资源链接。

摘要由CSDN通过智能技术生成

高斯混合模型聚类(Gaussian Mixture Mode，GMM)

高斯混合模型是一种概率式的聚类方法，它假定所有的数据样本 $x$ 由 $k$ 个混合多元高斯分布组合成的混合分布生成。

p (x) = \sum i = 1 k α i \cdot p (x | μ i, Σ i) (1.1)

$p(x)=\sum_{i=1}^{k}\alpha _{i}\cdot p(x | \mu _{i},\Sigma _{i})\tag{1.1}$
其中

p(x|μ,Σ) p ( x | μ , Σ ) $p(x | \mu ,\Sigma )$ 为服从高斯分布的n维随机向量

x x $x$ 的概率密度函数

\begin{matrix} (1.2) & p (x) = \frac{1}{(2 π)^{\frac{n}{2}} {| Σ |}^{\frac{1}{2}}} e^{- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)} \end{matrix}

$p(x)=\frac{1}{(2\pi)^{\frac{n}{2}}\left | \Sigma \right |^{\frac{1}{2}}}e^{-\frac{1}{2}(x-\mu )^{T}\Sigma ^{-1}(x-\mu )}\tag{1.2}$

python 代码实现如下：

# 高斯分布的概率密度函数
def prob(x, mu, sigma):
    n = np.shape(x)[1]
    expOn = float(-0.5 * (x - mu) * (sigma.I) * ((x - mu).T))
    divBy = pow(2 * np.pi, n / 2) * pow(np.linalg.det(sigma), 0.5)  # np.linalg.det 计算矩阵的行列式
    return pow(np.e, expOn) / divBy

式(1.2)中 $\mu$ 是 $n$ 维均值向量 $\Sigma$ 是 $n\times n$ 的协方差矩阵，因此式(1.1)中 $\mu_{i}$ 与 $\Sigma_{i}$ 是第 $i$ 个高斯混合成分的参数，而 $\alpha_{i}>0$ 为相应的“混合系数”(mixture coefficient), ∑ki=1αi=1