十大机器学习算法（五）——无监督聚类算法 EM 聚类算法（以及GMM）

无监督聚类学习 EM

主要流程：初始化参数 —>> 观察预期结果 —>> 存在误差？重新估计参数

极大似然估计

最大似然估计是假设在总体满足某种分布的情况下 求解满足似然函数（概率密度函数乘积）的最大值的参数 。

目的：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理：“模型已定，参数未知” 情况下，通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

前提条件：

1. 样本独立同分布 否则无法用概率密度函数乘积的形式

2. 假设的分布与真实的分布要一致，否则会南辕北辙。如果对总体分布一无所知是无法使用MLE的。
   在样本量足够大时，可以使用样本分布来近似总体分布。

已知样本集 D = { x 1 , x 2 , ⋯   , x N } D = \{x_1, x_2,\cdots,x_N\} D={x1​,x2​,⋯,xN​}，则其似然函数形式为：
$$L(\theta )=p(D|\theta )=p(x_1,x_2,\cdots ,x_N\theta )=\prod _{i=1}^{N}p(x_i|\theta )$$
求解满足$L(\theta )$最大值时的$\hat{\theta }$：
$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}L(\theta )$$
求解过程自然就是$x$服从什么分布，就用什么概率密度函数求解其概率，求解$L(\theta )$最大值时，使用对数化转为线性更容易求解。
推导可以看这篇文章https://blog.csdn.net/zengxiantao1994/article/details/72787849/

EM聚类算法

EM聚类算法与似然估计的思想一致，最大似然估计一次性找到最大可能性的参数，但对机器来说，根据实验结果，不断迭代以使模型参数不再变化为止。

主要步骤：初始化参数、观察预期、重新估计。

假设有如下问题：
有A和B两枚硬币，我们做了5组实验，每组实验投掷10次，然后统计出现正面的次数（投掷硬币时，我们不知道投掷的硬币是A还是B）（二项分布）。

实验	正面次数
1	2
2	8
3	6
4	7
5	3

求每次实验的硬币是 A 还是 B 。
假设我们知道先验分布：

实验	硬币	正面次数
1	A	5
2	B	7
3	B	8
4	B	9
5	A	4

思想：通过对先验分布拟合，找到最适合的模型估计，然后去预测。
step1，初始化参数：每次伯努利实验，$p(正|A)$ = 0.5，$p(正|B)$ = 0.9。
step2，使用初始化参数，估计先验分布实验1，A,B正面次数为5的概率，

$p_A(10,0.5)=C_{10}^{5}0.5^{5}0.5^5=0.246$
$p_B(10,0.9)=C_{10}^{5}0.9^{5}0.1^5=0.0015$

所以预估实验 1 的硬币为A。
重复上述步骤，拟合完成五个实验，得到结果：{A, A, B, B, A}。

step3，由于与结果存在不同，需要改进，重复上述步骤，改变$p(正|A)$，$p(正|B)$ 的值，知道不发生变化为止。

混合高斯模型（GMM）

混合高斯模型是指使用多个单高斯模型，通过加权得到一个混合的模型。

模型思想：任何一个曲线，无论多么复杂，都可以用若干个高斯曲线来无限逼近它。

假设混合高斯模型由K个高斯模型组成（即K个类），则GMM的概率密度函数为：

$$p(x)=\sum _{i=1}^{k}p(x\in k)N_k(x|{\mu }_k,{\sigma }_k^2)，\sum _{i=1}^{k}p(x\in k)=1$$

模型存在三个三个参数
step1，固定 $\mu ,\sigma$（初始化） ，求 $p(x\in k)$的所有概率，并标准化为：${\sum }_{i=1}^{k}p(x\in k)=1$。

step2， 哪个$p(x\in k)$大，$x$属于哪一个类，每一类的数据点确定后，即可得到这一个类的单高斯分布参数 $\mu ,\sigma$ 。

重复上述过程，即可得到最终的聚类结果。

上述图片来源：https://zhuanlan.zhihu.com/p/30483076

工具

GMM工具：
from sklearn.mixture import GaussianMixture
GaussianMixture(n_components=1, covariance_type="full")
n_components：聚类个数，缺省值为1 
covariance_type：协方差类型，一共4种，默认为full
covariance_type="full",完全协方差矩阵（元素都不为零）
covariance_type="tied",相同的完全协方差矩阵（HMM会用到）
covariance_type="diag",对角协方差矩阵（非对角为零，对角不为零）
covariance_type="spherical",球面协方差矩阵（非对角为零，对角完全相同，球面特性）