极大似然估计和最大参数后验估计

概率是已知模型和参数,推数据;统计(似然)是已知数据,推模型和参数。对于函数P(x|\theta )

x表示某一个具体的数据;θ表示模型的参数。

如果θ是已知确定的,x 是变量,这个函数叫做概率函数(probability function),它描述对于不同的样本点x,其出现概率是多少。

如果x是已知确定的,θ是变量,这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数,出现x这个样本点的概率是多少

极大似然估计

极大似然估计是求参数θ,使似然函数P(x_0|\theta)最大。

极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值!

换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。

最大后验估计

最大后验估计则是使P(x_0|\theta)P(\theta)最大。

求得的\theta不单单让似然函数大,\theta自己出现的先验概率也得大。 (这有点像正则化里加惩罚项的思想,不过正则化里是利用加法,而MAP里是利用乘法)

MAP其实是在最大化P(\theta|x_0)=\frac{P(x_0|\theta)P(\theta)}{P(x_0)},不过因为x0是确定的(即投出的“反正正正正反正正正反”),P(x0)是一个已知值,所以去掉了分母P(x0)(假设“投10次硬币”是一次实验,实验做了1000次,“反正正正正反正正正反”出现了n次,则P (x0) = n / 1000。总之,这是一个可以由数据集得到的值)。最大化P(\theta|x_0)的意义也很明确,x0已经出现了,要求θ取什么值使P(\theta|x_0)最大。顺带一提,P(\theta|x_0)即后验概率,这就是“最大后验概率估计”名字的由来。

  • 5
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值