阿正入门深度学习---从EM算法开始

一.最大似然估计基础

简言之：找出与样本分布最接近的概率分布模型

结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用 θ 表示环境对应的参数，x 表示结果，那么概率可以表示为：
P(x|θ)
P(x|θ)
是条件概率的表示方法，θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：

最大似然估计会寻找关于 θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。

以二项分布的最大似然估计为例
场景：在投硬币实验中，进行N次独立实验，n次朝上，N-n次朝下
模型建立：假定朝上概率为p，使用对数似然函数作为目标函数:

最大似然估计：以p为变量求模型最大值。对p求导数，得出最大值下的p=n/N

二.Jesen不等式

关于凸函数的不等式

三.基本概念<