最大似然估计

1、期望与方差

数学期望：它是实验中每次可能结果的概率乘以其结果的总和。它反映了随机变量平均取值的大小。用公式表示如下：

方差：用来衡量随机变量或一组数据离散程度的度量，即它是度量随机变量与期望（均值）之间的偏离程度。总体方差的计算公式为：

2、概率密度函数

概率密度函数：是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。而随机变量落在某个区域之内的概率为密度函数在该区域上的积分。

累积分布函数：它是概率密度函数的积分。能完整的描述一个实随机变量X的概率分布。

正太分布：这个分布函数具有非常好的特性，使得它在诸多统计学科，离散科学方面都有着不可替代的影响力。比如，图像处理中最常用的滤波器类型就是高斯滤波器。（也就是所谓的正太分布函数）。
它的概率密度函数为：

它的概率密度函数图如下：

X~N（μ，σ2），μ期望值决定了概率密度函数的位置；σ2决定了概率分布的幅度，σ越大，开口幅度越大

1、参数估计

含义：根据样本对未知参数，如数学期望，方差作出估计。常用的点估计和区间估计。

2、极大似然估计

极大似然估计，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。
比如正态分布中公式如下：

如果我通过极大似然估计，得到模型中参数μ和σ的值，那么这个模型的均值和方差以及其它所有的信息我们就知道了。极大似然估计中采样需满足一个重要的假设，就是所有的采样都是独立同分布的。
首先来看一下似然函数：P(x|θ)（x表示某一个具体的数据； θ表示模型的参数）
如果θ已知，x是变量，这个函数叫做概率函数，它描述对于不同的样本点x，其出现概率是多少。
如果x已知，θ是变量，这个函数叫做似然函数，它描述对于不同的模型参数，出现x这个样本点的概率是多少。

接下来讲一个例子。。。。

假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球 再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？
很多人马上就有答案了：70%。而其后的理论支撑是什么呢？
我们假设罐中白球的比例是p，那么黑球的比例就是1-p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜 色服从同一独立分布。

这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中，七十次是白球的,三十次为黑球事件的概率是P(样本结果|Model)。
如果第一次抽象的结果记为x1,第二次抽样的结果记为x2…那么样本结果为(x1,x2…,x100)。这样，我们可以得到如下表达式：

P(样本结果|Model)

= P(x1,x2,…,x100|Model)

= P(x1|Mel)P(x2|M)…P(x100|M)

= p^70 (1-p)^30.

好的，我们已经有了观察样本结果出现的概率表达式了。那么我们要求的模型的参数，也就是求的式中的p。
那么我们怎么来求这个p呢？不同的p，直接导致P（样本结果|Model）的不同。**我们想办法让观察样本出现的概率最大，也就是使得p^70 (1-p)^30值最大，那么我们就可以看成是p的方程，求导即可！**这也就是最大似然估计的核心。

这太简单了，未知数只有一个p，我们令其导数为0，即可求出p为70%，与我们一开始认为的70%是一致的。其中蕴含着我们的数学思想在里面。

参考：https://zhuanlan.zhihu.com/p/26614750
https://blog.csdn.net/qq_39422642/article/details/78412723