在学习线性回归,逻辑回归等等,我们都会遇到最大似然估计,我相信看到这篇文章的你已经看过很多关于最大似然估计的文章,但如果你想真正搞清楚最大似然估计是做什么的,推荐你读一读这篇文章
最大似然估计
挂上知乎链接,再说点自己的理解
想理解,我觉得需要先明确一下概率与统计的区别,相信会让读者更有画面感
概率:已知模型和参数,预测产生的结果怎么样。比如你学最大似然估计(模型),学习哪些文章(参数),预测能不能学会,学到什么程度(结果)
统计:统计恰恰相反,是使用数据去预测模型和参数,我先看看你的脑袋瓜学了什么,发现你学了 最大似然估计,那我就确定了模型(你学习最大似然估计),然后再进一步分析现有的数据,猜测你是通过哪一篇文章学会了最大似然估计。
其中,也是通过数据来推测模型是不是按照某种函数分布,高斯分布,指数分布,拉普拉斯分布等等
而 最大似然估计 (MLE) 最大后验概率估计(MAP)都是用来推测参数的方法。想理解这两种方法,需要先理解一下贝叶斯公式
具体详情可以通过这篇文章(贝叶斯)了解。但如果不想花太多时间,可以继续看本文章
先列出公式
先说明一下符号意义,P(A|B)表示 B 发生后,A发生的概率,
把这三个部分分为三个部分,方便后面理解 MLE
先验概率:代表不管 B 条件,A 事件发生的概率。
可能性函数:表示事件 A 发生后 B 事件的可能性,再除以 B,假如大于 1 的话,说明 B 事件被 A 事件增强了概率。
后验概率:B 事件发生过后,我们对 A 概率的重新评估。
好了,贝叶斯到这里就及时打住
我们来讲讲似然函数
似然函数
在这直接附上一篇文章的讲解(似然估计函数)
再讲讲上面这段话,换一种形式,x表示事件,
表示概率,我们可以根据数据推算概率,也可以直接知道概率,那就将似然函数转化为概率函数
最大似然估计(MLE)
这里我改用一个比较合适的例子,若有一个箱子,里面有 十个球,分别有黑球和白球,但我们不知道数量有多少
我们每次拿一个球出来再放回去,拿了十次。发现有 7 次白球。这是二项分布,
在 01 之间。这个时候,箱子里的白球分布,其实有很多可能,可能有1个白球啊,你一直摸这个球,但啥叫最大似然估计啊,那不就是求最大值嘛。那不得取按照数据分析出来的最大概率的分布,7个白球,3个黑球。那我们就要让 f 的导数等于 0.即,
=0.7
最大后验概率估计
数学看久了就有点脑子疼,下次写(下次一定写完)