极大似然、朴素贝叶斯、EM算法

极大似然估计

从最大似然到EM算法浅解_zouxy09的专栏-CSDN博客_最大似然

1、写出似然函数：联合概率分布

2、似然函数处理：比如取对数

3、获得似然方程：求导数，令导数=0

4、解似然方程，获得模型参数。

PS：回顾神经网络中loss function的定义，一般都是-log(loss)形式的函数，实际上也是对训练样本进行了极大似然估计，只不过求解参数的方式不能是令导数=0，只能通过求偏导，然后梯度下降来近似求的最优解或者局部最优解。同时，由于loss一般是大于1的数值，因此会在log前面加负号。

朴素贝叶斯

EM算法

（EM算法）The EM Algorithm - JerryLead - 博客园

参考《统计学习方法》--李航--第九章