极大似然法估计

hit2015spring

欢迎关注我的博客:http://blog.csdn.NET/hit2015spring

举个例子:
张无忌和宋青书分别给周芷若送一个糖果,周芷若最后只接受一个糖果,问周芷若接受了谁的糖果。大部分的人肯定会说,当然是张无忌了。
这里面就蕴含了极大似然的思想。因为周芷若接受张无忌的概率大于宋青书呀,而故事的最后周芷若接受了一颗糖果这个事实发生了,所以我们自然选择发生概率大的那个了。

一个函数总体的分布是 f(x;θ1,θ2,,θk) 。样本 X1,X2,,Xn 是从总体中抽出的样本,这些样本独立同分布(是极大似然的前提条件),则这些样本 (X1,X2,,Xn) 服从的分布就是:
f(x1;θ1,θ2,,θk)f(x2;θ1,θ2,,θk)f(xn;θ1,θ2,,θk)
因为独立同分布,所以可以乘。把上面函数记为 L(x1,,xn;θ1,,θk)

1 当我们固定 θ1,,θk 时,看做是 x1,,xn 的函数, L 是一个概率密度函数或者概率函数。

这样理解:若L(X1,,Xn;θ1,,θk)<L(Y1,,Yn;θ1,,θk),则我们可以认为 (Y1,,Yn) 这个点出现的可能性要大于 (X1,,Xn) 这些点出现的概率。

2 当我们固定 x1,,xn 时, L(X1,,Xn;θ1,,θk) 看做是 θ1,,θk 的函数, L 是一个似然估计,这个函数在一个固定的观察结果x1,,xn的取值下,参数值 θ1,,θk 可以看成是导致这个结果出现的原因,因为出现了周芷若接受糖果的事了,所以我们就让这件事情发生的概率最大,所以就叫张无忌去送糖果。张无忌就是那个 θ⃗ 1,,θ⃗ k 。当然这里面的 θ1,,θk 是有一定的值的(并不是任何值都可以),并不是随便一个人送糖果都可以的对吧。这里还包含了贝叶斯学派和频率主义学派两家的观点问题。频率主义学派认为参数是虽然是未知的,但是它是一个客观存在的固定值,因此可以通过优化似然函数等一些准则来确定参数值;但是贝叶斯学派认为参数是未观察到的随机变量,其本身也可以有分布,因此可以假定参数服从一个先验分布,然后基于观测到的数据来计算参数的后验分布。上面的估计方法就是传统的频率主义学派所认为的观点,就是一个事件的概率分布参数是存在的,我们需要优化似然函数这样的函数来求解得到参数。既然能发生,说明它出现的概率就是大,就像能考到清北的孩子优秀的概率肯定大于一般高校的孩子(一般这样认为)。
所以我们就去求当满足取样值的条件下,似然函数最大的那个参数就ok即:

L(X1,,Xn;θ1,,θk)=maxθ1,,θkL(Y1,,Yn;θ1,,θk)

即选择使得似然条件最大的参数作为原始参数的估计值。当然为了使得似然函数计算和不至于上溢,选择对原始似然函数去对数,叫做对数似然,于是就是优化下面的函数

lnL=i=1nlnf(Xi;θ1,,θk)

为了使得 L 达到最大,只需对lnL取偏导,就可以建立方程组:

lnLθi=0

这里写图片描述

这里写图片描述

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页