EM 算法(Expectation-Maximization algorithm, EM)

1. 相关的基本概念

• 似然函数：
  $$L(\theta )=L(x_1,...,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
  上述概率密度函数称为参数$\theta$相对于样本集$x$的似然函数(Likehood function)，记作$L(\theta )$。上述公式表示的是在概率密度函数的参数是$\theta$时，得到$x$这组样本的概率，其中$x$已知，$\theta$未知，所以上述似然函数是一个关于参数$\theta$的函数。

• 凸函数：
  设 $f$ 是定义域为实数的函，如果对于所有的实数 $x$， $f(x)$ 的二次导数大于等于0，那么 $f$ 是凸函数，只大于0时称之为严格凸函数。 如果变量 $\mathbf{x}$ 是向量时，如果其hessian矩阵H是半正定的，那么f是凸函数。

  hessian矩阵说明：
  一个函数 $f(\mathbf{x})$ 在 $\mathbf{x}={\mathbf{x}}_0$处具有n阶导，对函数 $f(\mathbf{x})=f(x_1,x_2,...,x_n)$ 在 点 ${\mathbf{x}}_0$ 处进行泰勒展开得到下式：
  $$f(\mathbf{x})=f({\mathbf{x}}_0)+\nabla f({\mathbf{x}}_0{)}^T\Delta \mathbf{x}+\frac{1}{2!}\Delta {\mathbf{x}}^{T}G({\mathbf{x}}_0)\Delta \mathbf{x}+o({\left|\Delta \mathbf{x}\right|}^2)$$
  其中：
  G ( x ) = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ] , Δ x = ( Δ x 1 Δ x 2 ) G(\mathbf{x}) = \begin{bmatrix} \frac{ {\partial ^ 2}f}{ {\partial}{x_1}^2} & \frac{ {\partial ^ 2}f}{ {\partial}{x_1}{\partial}{x_2}}\\ \frac{ {\partial ^ 2}f}{ {\partial}{x_2}{\partial}{x_1}} & \frac{ {\partial ^ 2}f}{ {\partial}{x_2}^2} \end{bmatrix} \text , \Delta \mathbf{x} = \begin{pmatrix} \Delta x_1\\ \Delta x_2 \end{pmatrix} G(x)=[∂x1​2∂2f​∂x2​∂x