EM（期望最大）算法详解(上)

EM算法(The Expectation-Maximization Algorithm)实质是对含有隐变量的概率模型参数的极大似然估计。EM算法的推导过程真的灰常容易理解，只需要一点点概率论的知识加上一点点的讲解，便可对此算法了然。

---

学习EM算法，只需要2个小技能（合计4个小知识点）：
1. 概率分布的参数常用极大似然估计——了解极大似然估计以及她的对数形式；在一概率分布下有一组观测值:$X=\{x_1,x_2,...,x_n\}$，极大似然估计的工作就是找到一组符合这个概率分布的参数，使得出现这些观测值的概率最大，数学表示就是：找到参数$\theta$, 使得$P(X|\theta)$最大。为了计算简便，通常我们计算的对数似然函数：

$$L(\theta) = lnP(X|\theta)\ \ \ \ \ \ (1)$$ 注意这个写法， $L(\theta)$表示的是，在观测值集合 $X$ 给定的情况下，关于 $\theta$ 的函数
2. 知道什么事凸函数以及凸函数的三个小知识点——
2.1) 凸函数的定义： $$对于实函数f,\ 有区间\ I=[a, \ b]，如果区间上任意两点x_1,\ x_2，总存在\lambda \in[0,\ 1]，使得<br>：f(\lambda x_1+(1-\lambda) x_2\leq \lambda f(x_1)+(1-\lambda)f(x_2)\ \ \ \ \ \ (2)$$ ，比如 $y=x^2,\ x \in [-1,\ 1]$


2.2) 若 $f$ 是凹函数，则 $-f$ 是凸函数，比如我们即将用到的 $lnx$ ，在 $x \in (0,\ \infty)$ 上，它是凹函数，显然 −lnx