[贝叶斯八]之极大似然估计

本文简要介绍了极大似然估计的概念,它是一种通过观察数据来估计模型参数的方法。通过举例抛硬币实验说明其应用场景,并进行理论推导,指出在最大化似然函数时求得的参数估计。文章还提及将采用对数似然函数简化计算,并给出了相关例题及参考资料。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、简单介绍

极大似然估计是根据观察数据来估计模型参数的方法,即“模型已定,模型未知”。它是参数估计的一种方法,请参考《概率论与数理统计(浙大第四版)》中参数估计。

举个例子,大家都知道抛硬币的实验: 假设有一枚不规则的硬币,要计算它正面朝上的概率。其实就是估计一个二分布的参数。现在我们开始做实验,抛了10次,得到相应的结果。那么如何根据这些结果来估计我们的参数呢?这就是极大似然估计要处理的一个场景。

二、理论推导

我们假设 [x1,x2,x3,x4,.......,xn] [ x 1 , x 2 , x 3 , x 4 , . . . . . . . , x n ] 是独立同分布的采样, θ θ 是模型参数。因为采样是独立的,所以该采样出现的概率可以用如下连乘表示。

L(θ)=L(x1,x2,......,xn;θ)=i=1n p(xi;θ),θΘ.(1)(2) (1) L ( θ ) = L ( x 1 , x 2 , . . . . . . , x n ; θ ) (2) = ∏ i = 1 n   p ( x i ; θ ) , θ ∈ Θ .

这一概率随着 θ θ 取值而变化,它是 θ θ 的函数, L(θ) L ( θ ) 称为样本的似然函数(注意,这里 [x1,x2,x3,x4xn] [ x 1 , x 2 , x 3 , x 4 … … x n ] 是已知的样本值,他们都是常数)。显然,这个事件已经发生了,那么按照人类的常理来说,我们认为概率越大的事件越可能发生,也就是我们可以认为 θ θ 参数肯定是在 L(θ) L ( θ ) 最大的时候取得的。由此,我们的问题变成了如何来最大化 L(θ) L ( θ ) 。这也就是极大似然估计的想法。

对于计算来说连乘不太好算,所以一般取对数。

LL(θ)=log i=1n p(xi;θ)=i=1n log p(xi;θ)(3)(4) (3) L L ( θ ) = l o g   ∏ i = 1 n   p ( x i ; θ ) (4) = ∑ i = 1 n   l o g   p ( x i ; θ )

最终我们要求的  θ^    θ ^   可以写成如下式子。

θ^ =argmaxθ LL(θ)(5) (5) θ ^   = a r g m a x θ   L L ( θ )

三、例题

例题均来自于概率论浙大第4版(在此再次表示感谢~)。

例题1:


这里写图片描述

例题2:


这里写图片描述

四、参考文献

[1] 《概率论与数理统计(浙大第4版)》
[2] 周志华. 《机器学习》[M]. 清华大学出版社, 2016.
[3] http://jermmy.xyz/2017/09/30/2017-9-30-maximum-likelihood-estimation/


<个人网页blog已经上线,一大波干货即将来袭:https://faiculty.com/>

/* 版权声明:公开学习资源,只供线上学习,不可转载,如需转载请联系本人 .*/


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值