极大似然估计
利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值!极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。
例如,已知样本信息,并且知道样本数据服从高斯分布,然后高斯模型的参数均值μ以及方差σ就可以通过极大似然估计求得。
极大似然估计中采样需满足一个重要的假设,就是所有的采样都是独立同分布的。
Step1 构造似然函数
假设 x_{1},…,x_{n}为独立同分布的采样,θ为模型参数,f为我们所使用的模型,如高斯分布的概率密度函数
Step2 对数似然
将上式两边同时取对数
Step3 似然方程
对θ求导(多个参数时求偏导),并令其等于0
Step4 求解似然方程