高斯混合模型的EM推导详解-CSDN博客

本文链接：https://blog.csdn.net/march_on/article/details/49725897

所谓高斯混合模型就是一组高斯分布的和，可以表示如下：

P (y | θ) = \sum k = 1 K α k ϕ (y | θ k)

$P(y|\theta)=\sum_{k=1}^{K}\alpha_k\phi(y|\theta_k)$

$\alpha_k$ 是第k个高斯分布的系数，大于0且 $\sum_{k=1}^k\alpha_k=1$ 。 $\phi(y|\alpha_k)$ 是第k个高斯分布:

ϕ (y | α k) = 1 ( \sqrt 2 π ) σ k e x p (- ( y - μ k ) 2 2 σ 2 k)

$\phi(y|\alpha_k)=\frac{1}{\sqrt(2\pi)\sigma_k}exp(-\frac{(y-\mu_k)^2}{2\sigma_k^2})$

从上面的定义可以看出，高斯混合模型的参数包括 $\alpha_k$ 和每个高斯分布的均值和方差 $\mu_k,\sigma_k$

在高斯混合模型中，观测变量就是 $y_j,j=1,2...N$ ,隐含变量就是这个样本来自于哪个高斯模型，我们把这个变量记做 $\gamma_{jk}$ ，表示第j个变量是否来自第k个高斯模型：

γ j k = {1 第 j 个 变 量 来 自 第 k 个 模 型 0, 否 则 j = 1, 2, . . ., N, k = 1, 2, . . ., K

$\gamma_{jk}=\begin{cases}1 \ 第j个变量来自第k个模型 \\ 0 , 否则 \end{cases} j=1,2,...,N,k=1,2,...,K$

所以完全数据是 $(y_j, \gamma_{j1}, \gamma_{j2},...,\gamma_{jK}),j=1,2,..,N$ 。

完全数据的对数似然函数是:

P (y, γ | θ) = \prod j = 1 N P (y j, γ j 1, γ j 2, . . ., γ j K | θ) = \prod j = 1 N \prod k = 1 K [α k ϕ (y j | θ k)] γ j k = \prod k = 1 K \prod j = 1 N [α k ϕ (y j | θ k)] γ j k = \prod k = 1 K α \sum N j = 1 γ j k k \prod j = 1 N [ϕ (y j | θ k)] γ j k = \prod k = 1 K ⎛ ⎝ α n k k \prod j = 1 N ⎡ ⎣ 1 ( \sqrt 2 π ) σ k e x p (- ( y j - μ k ) 2 2 σ 2 k) ⎤ ⎦ γ j k ⎞ ⎠

$P(y,\gamma|\theta)=\prod_{j=1}^{N}P(y_j,\gamma_{j1},\gamma_{j2},...,\gamma_{jK}|\theta)\\ =\prod_{j=1}^{N}\prod_{k=1}^{K}[\alpha_k\phi(y_j|\theta_k)]^{\gamma_{jk}}\\ =\prod_{k=1}^{K}\prod_{j=1}^{N}[\alpha_k\phi(y_j|\theta_k)]^{\gamma_{jk}}\\ =\prod_{k=1}^{K}\alpha_k^{\sum_{j=1}^N \gamma_{jk}}\prod_{j=1}^{N}\left[\phi(y_j|\theta_k)\right]^{\gamma_{jk}}\\ =\prod_{k=1}^{K}\left(\alpha_k^{n_k} \prod_{j=1}^{N}\left[ \frac{1}{\sqrt(2\pi)\sigma_k}exp(-\frac{(y_j-\mu_k)^2}{2\sigma_k^2}) \right]^{\gamma_{jk}}\right)$

其中，

n k = \sum j = 1 N γ j k, \sum k = 1 K n k = N

$n_k=\sum_{j=1}^N \gamma_{jk},\sum_{k=1}^{K}n_k=N$
显然，

nk $n_k$ 表示来自第k个高斯分布的样本数量。
对上式取对数即得到完全数据的对数似然函数

l o g P (y, γ | θ) = \sum i = 1 K ⎛ ⎝ n k l o g α k + \sum j = 1 N γ j k ⎡ ⎣ l o g (1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠

$logP(y,\gamma|\theta)=\sum_{i=1}^{K}\left(n_klog\alpha_k+\sum_{j=1}^N\gamma_{jk}\left[ log(\frac{1}{\sqrt(2\pi)}-log\sigma_k-\frac{(y_j-\mu_k)^2}{2\sigma_k^2}\right]\right)$

下面求Q函数。
Q函数是完全数据的对数似然函数关于在给定观测数据和当前参数的条件下隐含变量的条件概率分布的期望，即

Q (θ, θ i) = E [l o g P (y, γ | θ) P | y, θ i)] = E ⎛ ⎝ \sum i = 1 K ⎛ ⎝ n k l o g α k + \sum j = 1 N γ j k ⎡ ⎣ l o g 1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠ ⎞ ⎠ = \sum i = 1 K ⎛ ⎝ \sum j = 1 N E γ j k l o g α k + \sum j = 1 N E γ j k ⎡ ⎣ l o g 1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠

$Q(\theta, \theta^i)=E\left[logP(y,\gamma|\theta)P|y,\theta^i)\right]\\ =E \left({\sum_{i=1}^{K} \left(n_k log\alpha_k+\sum_{j=1}^N\gamma_{jk}\left[ log\frac{1}{\sqrt(2\pi)}-log\sigma_k-\frac{(y_j-\mu_k)^2}{2\sigma_k^2}\right] \right)} \right)\\ ={\sum_{i=1}^{K} \left( \sum_{j=1}^{N}E\gamma_{jk} log\alpha_k+\sum_{j=1}^NE\gamma_{jk}\left[ log\frac{1}{\sqrt(2\pi)}-log\sigma_k-\frac{(y_j-\mu_k)^2}{2\sigma_k^2}\right] \right) } \\$

上面这个式子里面我们需要计算的是 $E(\gamma_{jk})$ ，将该值记为 $\hat\gamma_{jk}$

γ^j k = E (γ j k | y, θ) = P (γ j k = 1 | y, θ) = P ( γ j k = 1 , y j | θ ) \sum K k = 1 P ( γ j k = 1 , y j | θ ) = P ( y j | γ j k = 1 , θ ) P ( γ j k = 1 | θ ) \sum K k = 1 P ( y j | γ j k = 1 , θ ) P ( γ j k = 1 | θ ) = α k ϕ ( y j | θ k ) \sum K k = 1 α k ϕ ( y j | θ k ) j = 1, 2, . . ., N, k = 1, 2, . ., K

$\hat\gamma_{jk}=E(\gamma_{jk}|y,\theta)=P(\gamma_{jk}=1|y,\theta)\\ =\frac{P(\gamma_{jk}=1,y_j|\theta)}{\sum_{k=1}^{K}P(\gamma_{jk}=1,y_j|\theta)}\\ =\frac{P(y_j|\gamma_{jk}=1,\theta)P(\gamma_{jk}=1|\theta)}{\sum_{k=1}^{K}P(y_j|\gamma_{jk}=1,\theta)P(\gamma_{jk}=1|\theta)}\\ =\frac{\alpha_k\phi(y_j|\theta_k)}{\sum_{k=1}^{K}\alpha_k\phi(y_j|\theta_k)}\\ j=1,2,...,N,k=1,2,..,K$
第二步的推导使用了贝叶斯公式。

$\hat\gamma_{jk}$ 是在当前参数下第j个样本来自第k个模型的概率。
将 $\hat\gamma_{jk}=E\gamma_{jk}$ 和 $n_k=\sum_{j=1}^{N}E\gamma_{jk}$ 代码Q函数得到:

Q (θ, θ i) = \sum i = 1 K ⎛ ⎝ n k l o g α k + \sum j = 1 N γ^j k ⎡ ⎣ l o g 1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠

$Q(\theta, \theta^i)={\sum_{i=1}^{K} \left(n_k log\alpha_k+\sum_{j=1}^N\hat\gamma_{jk}\left[ log\frac{1}{\sqrt(2\pi)}-log\sigma_k-\frac{(y_j-\mu_k)^2}{2\sigma_k^2}\right] \right)} \\$

至此，我们得到了Q函数的表达式了，
下面就是M步了，即最大化Q函数。

参数有 $\mu_k,\sigma_k和\alpha_k$ 。
首先求 $\mu_k$

求Q函数关于 $\mu_k$ 的导数

\partial Q ( θ , θ i ) \partial μ k = \sum j = 1 N γ j k^y j - μ k σ 2 k

$\frac{\partial Q(\theta, \theta^i)}{\partial \mu_k}=\sum_{j=1}^{N}\hat{\gamma_{jk}}\frac{y_j-\mu_k}{\sigma_k^2}$
令偏导为0，可以得到

μk $\mu_k$ 的表达式

μ k = \sum N j = 1 γ ^ j k y j \sum N j = 1 γ ^ j k

$\mu_k=\frac{\sum_{j=1}^{N}\hat\gamma_{jk}y_j}{\sum_{j=1}^{N}\hat\gamma_{jk}}$

求Q函数对 $\sigma_k^2$ 的偏导

\partial Q ( θ , θ i ) \partial σ 2 k = \sum j = 1 N γ^j k ⎛ ⎝ - 1 2 σ 2 k + ( y j - μ k ) 2 2 ( σ 2 k ) 2 ⎞ ⎠

$\frac{\partial Q(\theta, \theta^i)}{\partial \sigma_k^2}=\sum_{j=1}^{N}\hat\gamma_{jk} \left (- \frac{1}{2\sigma_k^2}+\frac{(y_j-\mu_k)^2}{2(\sigma_k^2)^2}\right)$

令偏导为0
得