最大似然估计、贝叶斯估计和最大后验估计

参数估计

参数估计是根据从总体中采样来估计总体分布中包含的未知参数的方法。
参数估计包括点估计和区间估计。

点估计方法：矩估计、最小二乘估计、极大似然估计、贝叶斯估计；
区间估计：利用已知的抽样分布、利用区间估计与假设检验的联系、利用大样本理论。
关系：区间估计 = 点估计 ± 边际误差

最大似然估计

概述

最大似然估计MLE：maximum likelihood estimation。
最大似然估计是一种给定观察数据（X）来评估模型参数（θ）的方法，即“模型已定，参数未知”。

就比如假设数据服从正态分布，根据采样，通过最大似然估计来获取正态分布的均值与方差。

MLE是频率学派常用的估计方法，频率学派认为参数是客观存在，不会改变，虽然未知，但却是固定值。

前提假设

假设所有的采样都是独立同分布的。
独立：P(x1,x2) = P(x1)*P(x2)
同分布：针对每次采样，模型相同

核心思想

最大似然参数求解的核心思想就是构造当前样本出现的联合概率函数，对其求偏导，让当前样本的概率最大的就是模型参数。

推导过程

求解过程

1. 写出似然函数L(θ|x1,x2,x3,…)；
2. 如果无法直接求导的话，对似然函数取对数，再平均（平均对数似然函数中有 1/n 项，消除了样本数量的影响），求解平均对数似然函数；
3. 求导数 ；
4. 求解模型中参数的最优值。

最大后验估计

概述

最大后验概率估计MAP：Maximum a posteriori estimation。
最大后验概率估计也是一种给定观察数据（X）来评估模型参数（θ）的方法，通过调整模型参数使得模型能够产生该数据样本的概率最大。与MLE不同的是，MAP对于模型参数有了一个先验假设，即模型参数可能满足某种分布，不再一味地依赖数据样例。

MAP是贝叶斯学派常用的估计方法，贝叶斯学派认为参数是随机值，因为没有观察到，那么和是一个随机数也没有什么区别，因此参数也可以有分布。

前提假设

假如x1,x2,x3,…每次独立抽样的概率模型中的参数θ不是一个固定值，而是一个符合g(θ)概率分布（先验概率）的随机变量。

核心思想

以当前样本数据条件下由贝叶斯公式计算出的整个后验概率P(θ|x1, x2, x3, …) 最大的模型参数θ为最终的模型参数。
（注意对比：最大似然估计是以让当前样本的概率最大的模型参数θ为最终的模型参数。）

推导过程

贝叶斯公式：

贝叶斯估计

MAP作为贝叶斯估计的一种近似解，在贝叶斯估计中如果我们采用极大似然估计的思想，考虑后验分布极大化而求解，就变成了最大后验估计。
对比如下：

最大似然估计和最大后验估计的对比

1.从上述推导过程可以看出，后验概率其实是在似然函数的基础上还考虑了先验概率的影响。两者的最大区别是MAP中加入了模型参数本身的概率分布g(θ)。

2.MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。当MAP中模型参数θ的先验概率为常数（固定值）时，问题就回到了MLE。

3.最大似然估计体现是的频率学派的观点，而最大后验估计体现的是贝叶斯学派的观点。

4.样本少的时候，MAP加入先验知识会更有用，随着样本数据量的增加，参数分布会越来越向数据靠拢，先验P(θ)的影响力会越来越小，MAP趋向等价于MLE，如果先验P(θ)=常数，其实本质上表示对事物没有任何预判。