机器学习——基础算法(十) 一、EM算法 注:(一)Jensen不等式:若f是凸函数,则f(Ex)≤Ef(x) (一)最大似然估计 (1)■找出与样本的分布最接近的概率分布模型。 ■简单的例子 ■10次 拋硬币的结果是:正正反正正正反反正正 假设p是每次抛硬币结果为正的概率。则:得到这样的实验结果的概率是: P=pp(1-p)ppp(1-p)(1- p)pp =p7(1-p)3 最优解是: p=0.7 (2)二项分布的最大似然估计 投硬币试验中,进行N次独立试验,n次朝上,N-n次朝下。 假定朝上的概率为p,使用对数似然函数作为目标函数: (二)EM算法的提出