聚类模型-EM算法

聚类模型

1、层次聚类

2、原型聚类-K-means

3、模型聚类-GMM

4、EM算法-LDA主题模型

5、密度聚类-DBSCAN

6、图聚类-谱聚类

四、EM算法

一、EM算法

​ EM算法是一种迭代算法，用于带隐变量的概率模型参数的极大似然估计，是无监督学习中一大类算法求解的算法。EM算法每次迭代由两步组成，E步：假设隐变量和特征变量的联合分布$P(x,z;\theta )$，求解样本关于隐变量$z$的概率函数（使Jensen不等式等号成立），M步：在已知样本$(x,z)$的联合分布（确定样本特征和类标），采用极大似然估计最大化似然函数求解参数$\theta$。

在讨论EM算法之前，先介绍Jensen inequality（由凸函数性质导出）

假设f是定义在实数上的凸函数，由凸函数的定义有：
$$f(\lambda x^{(1)}+(1-\lambda )x^2)\le \lambda f(x^{(1)})+(1-\lambda )f(x^2)$$
严格凸函数则严格大于，凸函数的判定是其二阶可微的话，其Hesse矩阵半正定。对凸函数的性质推广有：
$$\begin{gathered} f(\sum _{i=1}^k({\lambda }_i{x}^{(i)}))\le \sum _{i=1}^m{\lambda }_{i}f(x^{(i)}) \\ s.t.\sum _{i=1}^m{\lambda }_i=1,{\lambda }_i\ge 0 \end{gathered}$$
当${\lambda }_i$表示$f(x^{(i)}),x^{(i)}$的概率时，那么有：
$$f(E(x))\le E(f(x))$$
当且仅当：$p(f(x)=c)=1$，即$f(x)$为常数函数，等号成立。

反之，对于凹函数不等式方向相反。

现在来看EM算法，给定训练样本 { x ( 1 ) , x ( 2 ) , . . x ( m ) } \{x^{(1)},x^{(2)},..x^{(m)}\} { x(1),x(2),..x(m)}，引入隐含的类别标签$z^{(i)}$，在有监督方法中，最大对数似然函数$L=p(z|x;\theta )$，同样这里最大化对数似然函数的$L=(x^{(i)};\theta )$在隐变量$z^{(i)}$的全期望：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ L(\theta)&=\su…
其中$Q_i(z^{(i)})$为样本的隐变量$z^{(i)}$的概率分布，${\sum }_z{Q}_i(z^{(i)})=1,Q_i(z^{(i)})\ge 0$。不同$Q(z)$选择，会得到EM在不同情况下的模型，比如高斯混合，朴素贝叶斯混，LDA等。

因为$log$函数是一个严格凹函数，由Jessen不等式有：
$$\begin{gathered} log(E(g(x))\ge E(log(g(x)) \\ log\left(\sum _{z^{(i)}}{Q}_i(z^{(i)})\frac{P(x^{(i)},z^{(i)};\theta )}{Q_i(z^{(i)})}\right)\ge \sum _{z^{(i)}}{Q}_i(z^{(i)})log\frac{P(x^{(i)},z^{(i)};\theta )}{Q_i(z^{(i)})} \end{gathered}$$
其中$g(x)=\frac{P(x^{(i)},z^{(i)}|\theta )}{Q_i(z^{(i)})}$，因此当且仅当，$g(x)=c$，等号成立。

因为${\sum }_z{Q}_i(z^{(i)})=1,Q_i(z^{(i)})\ge 0$，所以 Q i ( z ( i ) ) Q_{i}(z^{(i)}) Qi​(z