深度学习基础 - 最大似然估计

最新推荐文章于 2022-09-19 06:00:00 发布

西笑生

最新推荐文章于 2022-09-19 06:00:00 发布

阅读量2.1k

点赞数

分类专栏：深度学习基础文章标签：人工智能深度学习

本文链接：https://blog.csdn.net/flyfish1986/article/details/79502213

版权

深度学习基础专栏收录该内容

61 篇文章 23 订阅

订阅专栏

深度学习基础 - 最大似然估计

flyfish

最大似然估计，maximum likelihood estimation简称MLE

In statistics, maximum likelihood estimation (MLE) is a method of
estimating the parameters of a statistical model, given observations.
MLE attempts to find the parameter values that maximize the likelihood
function, given the observations.

MLE是方法
MLE是评估参数的方法

MLE是评估统计模型的参数的方法
MLE是通过给定观察，评估统计模型的参数的方法
通顺些是
MLE是给定观察数据来评估模型参数的方法

MLE是给定观察数据来评估模型参数的方法。MLE通过给定观察数据试图通过取似然函数的最大值来找到参数值

最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。

如果硬币是公平的，那么硬币的参数为0.5
似然是不知道硬币的参数，通过抛硬币结果的数据去评估硬币的参数。

二项分布（Binomial distribution）
在概率论和统计学中，二项分布是n个独立的是/非试验中成功的次数的离散概率分布，其中每次试验的成功概率为p。这样的单次成功/失败试验又称为伯努利试验。实际上，当n = 1时，二项分布就是伯努利分布。二项分布是显著性差异的二项试验的基础。

离散分布，离散有限参数空间（Discrete distribution, finite parameter space）
考虑一个抛硬币的例子。假设这个硬币正面跟反面轻重不同。我们把这个硬币抛80次（即，我们获取一个采样 $KaTeX parse error: Undefined control sequence: \mbox at position 5: x_1=\̲m̲b̲o̲x̲{H}, x_2=\mbox{…$ 并把正面的次数记下来，正面记为H，反面记为T）。并把抛出一个正面的概率记为pp=，抛出一个反面的概率记为1−p（因此，这里的p即相当于上边的θ）。假设我们抛出了49个正面，31个反面，即49次H，31次T。假设这个硬币是我们从一个装了三个硬币的盒子里头取出的。这三个硬币抛出正面的概率分别为
p=1/3
p=1/2
p=2/3
.这些硬币没有标记，所以我们无法知道哪个是哪个。使用最大似然估计，基于二项分布中的概率质量函数公式，通过这些试验数据（即采样数据），我们可以计算出哪个硬币的可能性最大。这个似然函数取以下三个值中的一个：

${\displaystyle {\begin{aligned}\operatorname {P} {\big [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\big ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {P} {\big [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\big ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {P} {\big [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\big ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054.\end{aligned}}}"$