极大似然估计个人理解

极大似然估计个人理解

极大似然估计属于频率派统计。

极大似然估计理解:

对给定的一组样本，对他的分布进行估计。
拿正态分布来说：上帝（知道正态分布里真正的的μ和θ比如μ=0，θ=0.4）从这个分布里拿出N个样本点给我们人类。让我们根据这些样本点来估计出这个正态分布的μ和θ。接下来就是具体的步骤：
1.首先我们要从μ∈（-0.5，+0.5)，θ∈（0，0.5）中取两个数μi和θi。然后构造出似然函数：

1.上述公式中的θ是现在的μi和θi，L(θ）是在μi和θi这两个变量取某个特定值中，x1发生的概率乘x2发生的概率，一直乘到xn发生的概率。这个n就是上面说的，上帝给我们拿出N样本点个数。然后便是求出μi和θi在取不同的值的时候，L(θ)的最大值。当L(θ)取最大值所对应μi和θi具体取值，就是我们最终估计得具体分布。显然他接近上帝手中的那个μ和θ。
3 下图中的2）,3)，4）便是求解过程。2）中取对数就是为了好求导，毕竟连乘求导不如转化为加法求导，以便于最后求极值。
4.当然二项分布也可以，此时的θ应该就是某个情况的取值：如一枚质地不均匀的硬币，他正面的取值。

极大似然估计的性质：

他最吸引人的地方在于，他被证明为样本数目趋于无穷大时，就收敛而言是最好的渐近估计。即在合适的条件下，极大似然估计具有一致性（样本数量越大所估计到的参数，如上述的μi和θi就越接近上帝手中的真实值）。但是它是有一定条件的：
1.真实分布必须在模型族，意思就是真是的参数，必须在一定的取值范围内。如上述的μi和θi的取值范围正好包含了真实值。（意思就是L函数定义域取值范围包括真实值）
2.真实分布对应一个θ值，否则，极大似然估计恢复出真实分布后，无法确定生成的是哪个θ。（真实值确定且唯一）

为什么是机器学习中首选的估计方法：

1.他的一致性
2.统计效率：统计效率通常用于有参情况的研究中（线性回归）。在有参情况下，我们的目标是估计参数值(假设有可能确定的真实参数），而不是函数值。一种度量和真实参数相差多少的方法是计算均方差的期望（计算M个从数据生成分布中出来的训练样本上的估计参数和真是参数之间的差值的平方）。当上帝给的样本越多即M越大，大到一定程度，不存在均方误差低于最大似然估计的一致估计。
3.当给的样本数目小，会发生过拟合，但是我们会用正则化策略可用于获得训练数据有限时方差较小的极大似然估计有偏版本。
参考书目《深度学习》花书。