贝叶斯公式的对数似然函数_最大似然法与似然函数

最大似然估计是统计学中估计概率模型参数的方法,通过对数似然函数简化求解过程。文章解释了似然函数的两种理解方式,并探讨了为何在求解时使用对数似然函数。
摘要由CSDN通过智能技术生成

在统计学中,最大似然估计,也称最大概似估计,是用来估计一个概率模型的参数的一种方法

通俗来讲,最大似然估计是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。

定义

给定一个概率分布 ${\displaystyle D}​$ ,已知其概率密度函数(连续分布)或概率质量函数(离散分布)为 $f_D​$,以及一个分布参数 ${\displaystyle \theta }​$ ,我们可以从这个分布中抽出一个具有$ {\displaystyle n} ​$个值的采样$ {\displaystyle X_{1},X_{2},\ldots ,X_{n}}​$,利用${\displaystyle f_{D}}​$计算出其似然函数:

​ $$lik(\theta|x_1,...,Xn)=f_{\theta}(x_1,...x_n)$$

如何理解似然函数?

理解一:

​ $L(\theta|x)=f(x|\theta)$

上述公式从两个角度描述了某一事件发生的情况。该等式两边都表示这个事件发生的概率。

在给定样本后,我们去想这个样本出现的可能性到底有多大?在统计学上,我们认为样本的出现是服从分布函数的,我们假设这个分布函数位$f$,里面含有参数$\theta$,对于不同的$\theta$,样本的分布也不一样。$f(x|\theta)$ 就表示子在给定参数$\theta$的时候,x出现的概率为多少。

$L(\theta|x)$则表示,在给定样本的x的时候,存在哪一个参数$\theta$使得x出现的可能性最大。等式的意义表示给定一个参数$\theta$和一个样本$x$的时候整个事件的可能性多大。

理解二:

在这种意义上,似然函数可以理解为条件概率的逆反。在已知某个参数$\theta$时,事件A会发生的概率写作:

​ $$P(A|\theta)=\frac{P(A,\theta)}{P(\theta)}$$

然后似然函数是已知$X$对于$\theta$的函数,根据贝叶斯定理,

​ $$P(\theta|A)=\frac{P(A|\theta)P(\theta)}{P(A)}$$

如何理解最大似然函数?

最大似然估计:当我们知道总体的概率分布模型的时候,但是不知道概率分布函数的参数的情况下,我们用样本来估计参数。

简单来说,就是通过确定分布函数的参数是多少的情况下,使得我们抽的当下样本的概率最大

对于极大似然估计采取的步骤一般为:

写出似然函数;

如果无法直接求导的话,对似然函数取对数;

求导数,令导数为0,得到似然方程;

解似然方程,得到的参数即为所求;

为什么要使用对数似然函数?

1.如果假设条件是独立同分布,那么似然函数往往是连乘的形式,这样子求偏导数,不容易;通过取对数的形式将连乘变为求和

2.概率值是小数,多个连乘的情况下,容易造成下溢

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值