EM算法

EM是什么

指期望最大化算法（Expectation Maximization Algorithm），是一种迭代算法，用于含有隐变量（latent variable）的概率参数模型的最大似然估计或极大后验概率估计，也就是用于函有隐变量概率参数模型的参数估计。在介绍EM算法之前，先补充如下几点基础知识。

正定矩阵

设M是$n$阶实系数对称矩阵，若对任何非零向量 $X=(x_1,...x_n)$ 都有 $X^TMX>0$，则称M正定(Positive Definite)。

正定矩阵在相合变换下可化为标准型， 即单位矩阵。所有特征值大于零的对称矩阵（或厄米矩阵）也是正定矩阵。对称阵A为正定的充要条件如下：

1. A的特征值全为正。
2. A的各阶主子式都为正。

任意阵A为正定的充要条件是：A合同于单位阵。为什么正定性与矩阵的特征值有关呢，下面给出一些证明。

对任给一个对称阵$M$，对其进行特征分解，有

$$M=Q^T\Lambda Q$$

对$\forall x$有

$$x^TMx=(Qx)^T\Lambda Qx$$

而$Qx$是对$x$的一个线性变换，$x$是任意的，也就是说$Qx$也是任意的。若令$y=Qx$，则原定义等价于分析是否存在任意的$y$，使得下式恒成立。

$$y^T\Lambda y \geq 0$$

也即是，分析对称阵M的正定性，等价于分析其特征值对角阵$\Lambda$的正定性。(结论1)

为了叙述方便，记$\Lambda =diag(\lambda_1,...\lambda_i,...,\lambda_n)$。容易知道，特征值对角阵是正定阵必须要求所有特征值为正，半正定则要求所有特征值非负。关键在于正定性定义中$x$具有任意性。假若存在某个特征值$\lambda_i<0$，显然可以构造$x=(0,...,1,...,0)$（第i位是1），则$x^T\Lambda x = \lambda_i<0$，则违背了正定性定义。由反证法容易知道正定必须所有特征值为正，也就是特征值均为正（结论2）。同理可以证出，半正定要求特征值必须非负。

上述证明来源于知乎（https://www.zhihu.com/question/22098422/answer/113320609）。

Jensen 不等式

未完待续。。。

参考

http://blog.csdn.net/u014203453/article/details/78161964
http://blog.csdn.net/flyfish5/article/details/49978239