（《机器学习》完整版系列）第9章 聚类——9.3 高斯混合聚类算法（男生和女生依比例形成男女混合成绩模型）

（1）男生和女生作为两个群体，其成绩都符合多维高斯分布（因多科成绩故为多维高斯分布），但男生和女生的分布模型有差异（即参数不同），则两群体学性的成绩分布模型为两套模型参数）。 （2）男生和女生依比例有男女混合成绩模型。

高斯混合聚类算法

假定样本空间中的样本是由$k$堆不同簇的样本集混合而成：（1）各簇占不同的比例；（2）每簇内，样本“长的样子”（属性）具有高斯分布（正态分布）。 即由（1）（2）确定的样本空间中样本的分布密度是由高斯混合分布来表达的【西瓜书式(9.28)(9.29)】，这里$\mathbf{x}$的多属性体现在多元，即【西瓜书式(9.28)】的多维（$d$维）高斯分布下的线性判别分析LDA实现了贝叶斯分类器。 与朴素贝叶斯假设不同的是这里并没有要求属性间的独立性，而是要求知道属性间的协方差矩阵（集中度及相关系数）。

注：“高斯混合成分”是说两点：（1）“混合成分”由【西瓜书式(9.29)】中的权重向量${\alpha }_i$刻画各簇样本占比，其中的“成分”不是指样本的成分，而是指“簇”成分；（2）“高斯分布”，样本中的属性由高斯分布【西瓜书式(9.28)】中向量$\mathbf{x}$表达其取值分布（一个属性对应于一个分量）。

为理解高斯混合分布，我们举一个形象化的例子：对某学校学生学习情况进行分析。

已知：（1）男生和女生作为两个群体，其成绩都符合多维高斯分布（因多科成绩故为多维高斯分布），但男生和女生的分布模型有差异（即参数不同），则两群体学性的成绩分布模型为【西瓜书式(9.28)】，$i=1,2$分别代表男生和女生（即两套模型参数）。 （2）男生和女生的比例为${\alpha }_1,{\alpha }_2$，则学校学生（男女混合）成绩模型为【西瓜书式(9.29)】。

现在假定有一个学生分数数据集$D$，
以此作为训练集，我们有一个基本任务和两个附属任务：

（T1）基本任务：求学生成绩模型的参数，这是本小节所要解决的问题。

（T2）附属任务1：根据某学性的分数，判别该学生的性别，即为在完成基本任务后，利用模型进行分类或聚类。

（T3）附属任务2：生成一批学生分数数据，使其符合该模型，这就是完成基本任务后，在模型上的仿真（采样）。

我们先看看如何完成附属任务2：由混合分布【西瓜书式(9.29)】中的每个高斯分布【西瓜书式(9.28)】都可产生样本$\mathbf{x}$，问题在于这些样本放在一起形成的集合要服从混合比例，将该比例对应到数据区间：将$[0,1]$分割成$k$段，各段长度分别为${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_k$，因此，采样过程由如下二步不断循环即可：

• 在$[0,1]$中依均匀分布产生一随机数$\alpha$，当$\alpha$落入第$i$段时，则：
• 从第$i$个高斯分布$p(\mathbf{x}|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$【西瓜书式(9.28)】中采一个样本（第$j$个样本）。

利用贝叶斯定理可以得到【西瓜书式(9.30)】，并记为
$$\begin{array}{r}{\gamma }_{ji}=p_{\mathcal{M}}(z_j=i|{\mathbf{x}}_j)\end{array}\text{\hspace{1em}(9.2)}$$
对式(9.2)采用贝叶斯最优分类准则，可得到样本${\mathbf{x}}_j$的簇标志${\lambda }_j$，即【西瓜书式(9.31)】。

我们再看另外两个任务，实际上由高斯混合聚类算法【西瓜书图9.6】的两大步：

（1）基本任务：使用EM算法求参数

已知训练集$D$和超参数$k$（混合成分数，即簇数），循环使用E步和M步至停止（第2-12句的repeat）：

• E步：当【西瓜书式(9.29)】的参数 { α i , μ i , Σ i } i = 1 k \{{\alpha }_i,\boldsymbol{\mu }_i,{\boldsymbol{\Sigma } }_i\}_{i=1}^k {αi​,μi​,Σi​}i=1k​全部已知时，对该训练集上每个样本${\mathbf{x}}_j$利用【西瓜书式(9.30)】计算出一组（$i=1,2,\cdots ,k$）后验概率${\gamma }_{ji}$，则可得到训练集的后验概率矩阵（第3-5句的for）。
• M步：当已知训练集及其后验概率${\gamma }_{ji}$矩阵时，则可使用【西瓜书式(9.34)(9.35)(9.38)】更新参数 { μ i , Σ i , α i } i = 1 k \{\boldsymbol{\mu }_i,{\boldsymbol{\Sigma } }_i,{\alpha }_i\}_{i=1}^k {μi​,Σi​,αi​}i=1k​（第6-11句）。

（2）附属任务1：对数据集进行剖分（实现聚类）

确定参数集后，即可采用贝叶斯最优分类准则实现簇划分（【西瓜书式(9.31)】），即确定训练集$D$中任意样本${\mathbf{x}}_j$的簇标志${\lambda }_j$，将训练集$D$中的样本依簇标志进行归类，形成$k$个簇集合（第13-17句）。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：9.2 k均值算法、学习向量量化算法
下一篇：9.4 高斯混合模型EM算法详细推导