#数据分析 MLE(最大似然估计) MAP(最大后验估计)

  • MLE (Maximum Likelihood Estimation 最大似然估计) 频率学派
  • MAP (Maximum A Posteriori 最大厚颜估计) 贝叶斯学派

各派观点:

  • 频率学派认为世界确定,有一个本体其真值是不变的,我们的目标是要找到该真值或真值所在的范围
  • 贝叶斯学派认为世界是不确定的,人们对世界有一个预判,通过观测数据对预判做调整,我们的目标是要找到最优的描述这个世界的概率分布

对事物建模时用 θ \theta θ表示模型的参数,解决问题的本质即是求解该值

- MLE
假设数据 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn是独立同分布的一组抽样,那么MLE对 θ \theta θ 的估计方法可以如下推导:
θ ^ M L E \hat{\theta}_{MLE} θ^MLE
=arg max P ( X , θ ) P(X, \theta) P(X,θ)
=arg max P ( x 1 , θ ) P ( x 2 , θ ) . . . P ( x n , θ ) P(x_1, \theta)P(x_2, \theta)...P(x_n, \theta) P(x1,θ)P(x2,θ)...P(xn,θ)
=arg max ∑ i = 1 n l o g P ( x i ) , θ \sum_{i=1}^{n}logP(x_i),\theta i=1nlogP(xi),θ
=arg min - ∑ i = 1 n l o g P ( x i ) , θ \sum_{i=1}^{n}logP(x_i),\theta i=1nlogP(xi),θ
最后一行即Negative Log Likelihood(NLL)
深度学习做分类任务时所用的 cross entropy loss 本质也是MLE

- MAP
假设数据 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn是独立同分布的一组抽样,则MAP对 θ \theta θ 的估计方法可以如下推导:
θ ^ M A P \hat{\theta}_{MAP} θ^MAP
=arg max P ( θ ∣ X ) P(\theta|X) P(θX)
=arg min - l o g P ( θ ∣ X ) log P(\theta|X) logP(θX)
=arg min - l o g P ( X ∣ θ ) log P(X|\theta) logP(Xθ)- l o g P ( θ ) log P(\theta) logP(θ)+ l o g P ( X ) log P(X) logP(X)
=arg min - l o g P ( X ∣ θ ) log P(X|\theta) logP(Xθ)- l o g P ( θ ) log P(\theta) logP(θ)
(不考虑最后一项因为其与 θ \theta θ无关)
- l o g P ( X ∣ θ ) log P(X|\theta) logP(Xθ)即NLL,所以MLE 和 MAP优化的不同在于先验项- l o g P ( θ ) log P(\theta) logP(θ) 。假设先验是高斯分布即:
P ( θ ) P(\theta) P(θ) =constant × e − θ 2 2 σ 2 \times e^{- \frac{\theta^2}{2\sigma^2}} ×e2σ2θ2
则- l o g P ( θ ) log P(\theta) logP(θ) =constant + e θ 2 2 σ 2 e^{\frac{\theta^2}{2\sigma^2}} e2σ2θ2
在MAP中使用高斯分布的先验等价于在MLE中采用L2正则

ref:https://zhuanlan.zhihu.com/p/32480810

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值