极大似然原理

最新推荐文章于 2022-12-30 16:32:56 发布

Glimmer_r

最新推荐文章于 2022-12-30 16:32:56 发布

阅读量1k

点赞数

文章标签：极大似然

本文链接：https://blog.csdn.net/qq_41987033/article/details/81122494

版权

极大似然原理：

假设从一个篮子里摸球，已知篮子里黑球与白球的比例是3：1或1：3，摸了5次得到的结果分别是黑、黑、白、黑、黑。问黑球所占的比例是多少？

如果我们什么都没学，按照常识，看起来黑球的比例应当为3/4，白球的比例为1/4，因为从结果来看黑球出现的概率比白球高。这个“看起来”就是所谓的极大似然原理。我们可以计算一下

假设黑球的比例为3/4，那么摸了5次后，得到上述结果的概率为

$P_{i}=(\frac{3}{4})^{4}\times \frac{1}{4}= \frac{81}{1024}$

假设黑球的比例为1/4，那么摸了5次后，得到上述结果的概率为

$P_{2}=(\frac{1}{4})^{4}\times \frac{3}{4}= \frac{3}{1024}$

显然前者发生的可能性更大，因此黑球的比例应当是3/4。

推广到更一般化，对于一个独立的离散型随机变量（这里暂不考虑连续型，但原理几乎一模一样），设 $p(X;\theta)$ 表示给定某一参数 $\theta$ 后，随机变量 $X$ 发生的概率。那么，对于观测到随机变量 $X$ 的值{ $x_{1}$ 、 $x_{2}$ ...... $x_{i}$ }（这个事件已经发生并且得到结果了，称其为事件A），可计算出他们各自发生的概率为 $p(x_{1};\theta)$ 、 $p(x_{2};\theta)$ 、...... $p(x_{i};\theta)$ 。由于它们是相互独立的，因此事件A发生的概率是

$P=p(x_{1};\theta)\cdot p(x_{2};\theta)\cdot ...... \cdot p(x_{i};\theta)$

把上式的改成 $L(\theta)$ ，即

$L(\theta)=p(x_{1};\theta)\cdot p(x_{2};\theta)\cdot ...... \cdot p(x_{i};\theta)$

该式被称为似然函数，它含有一个自变量 $\theta$ ，我们要求的，就是当 $L(\theta)$ 取得最大值时， $\theta$ 的值，该值用 ${\hat{\theta}}$ 表示，通常的做法是求导数令其等于0，即可得到解。

回到上面的例子， $\theta$ 实际上只有两个取值：分别是3/4和1/4，因此只需要算出所有的情况，选择似然函数值最大的那个，就得到了最终结果。

最大后验估计：

对于某个估计问题，假设某个模型的参数 $\theta$ 取1、2、3，观测到的随机变量X。

则根据贝叶斯公式，有

$P(\theta=1|X)=\frac{P(X|\theta=1)\cdot P(\theta=1)}{P(X)}$

表示当观察到随机变量X时， $\theta$ =1的概率。我们假设这个概率为0.2，即

$P(\theta=1|X)=0.2$

同样的，我们假设

$P(\theta=2|X)=0.5$

$P(\theta=3|X)=0.3$

那最大后验估计，就是指当X给定时， $\theta$ 取各个值的可能性，再从这些可能性中取最大的。在这里，我们很容易观察到， $\theta$ 应当等于2。极大似然的思想是 $\theta$ 只有一个固定值，这个固定值使得 $P(X|\theta)$ 最大，即最大化事件X发生的概率。最大后验估计的思想是 $\theta$ 可能有很多个值（服从某一分布），即X发生的前提下，模型参数 $\theta$ =1的概率是0.2， $\theta$ =2的概率是0.5， $\theta$ =3的概率是0.3，取那个使 $P(\theta|X)$ 最大的 $\theta$ 值，即最大化 $\theta$ 取值的可能性。