最大似然估计和最小二乘估计等价的条件

最近在上“交通大数据”一课,里面的公式推导还是有点麻烦的,今天就来推导下在什么情况下最大似然估计和最小二乘估计等价。
先来说一下结论:当模型估计值和真实值间的残差项服从均值是0的高斯分布时,就有最小二乘估计和最大似然估计等价。

推导过程

极大似然估计

首先,我们知道最大似然估计如下所示:
ΘML = arg maxΘEx-pdata[ logpmodel(x(i);Θ) ]
对于模型 y ^ \widehat{y} y = g(x) ,即y = g(x)+ ϵ,如果我们假设ϵ ~ N(0,σ):
根据 y = y ^ \widehat{y} y + ϵ,我们可以得出 y ~ N( y ^ \widehat{y} y ,σ)
可以写出它的极大似然估计如下所示:(打字好麻烦,就手写了,大家将就着看吧!)
在这里插入图片描述

最小二乘估计(最小均方误差)

MinΘ( 1/M*Σ ||y - y ^ \widehat{y} y ||2 2)

两者比较

大家注意最大似然估计中与样本有关的项也就是最后一项就是1/M * Σ ||y - y ^ \widehat{y} y ||2 2,这和最小二乘估计是一模一样的,因此可以得出结论:当模型估计值和真实值间的残差项服从均值是0的高斯分布时,就有最小二乘估计和最大似然估计等价。

————————————————————————————————————
今天在《deep learning》中看到一句话:

之前,我们看到了对输出分布的最大似然估计和对线性模型均方误差的最小化之间的等价性,但事实上,这种等价性并不要求g(x)用于预测高斯分布的均值。

所以应该可以有更加宽松的等价条件,但是对于更深入的理解,我目前并无法达到。

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值