DeepLearning学习笔记——极大似然估计

本文介绍了极大似然估计在深度学习中的应用,分别在生成模型和判别模型下阐述极大似然估计的原理和计算过程,并探讨了其性质和在参数估计中的优势。通过极大似然估计,我们可以找到使数据生成概率最大的模型参数,当样本数量趋于无限时,这种方法能够提供一致且高效的参数估计。
摘要由CSDN通过智能技术生成

参数估计不同于估计。

日常所说的估计一般是通过样本分布估计总体的分布,如用样本集的均值作为总体的期望。

参数估计也不同于非参数估计。

在参数估计中,模型是假设已知的,估计得参数后就可得完整模型;而非参数估计中是未知的。在以下参数估计的讨论中,皆假设模型是已知的,参数是未知的。

而对于参数估计,我们希望通过某些方法,通过给定样本集 D D 估计假定模型的参数。极大似然估计就可以帮我们从参数空间中选择参数,使该参数下的模型产生 D D 的概率最大(最似然的)。

  • 对于判别模型,就对于 y=f(x|θ) y = f ( x | θ ) ,假定 f f (如假设为线性回归),通过 x y y 估计 θ
  • 对于生成模型,就对于 pdata(x;θ)D p d a t a ( x ; θ ) → D ,假定 p p (如假设为正态分布),通过 D 估计 θ θ

生成模型下的极大似然估计

  考虑一组含有m个样本的数据集 X={ x(1),...,x(m)} X = { x ( 1 ) , . . . , x ( m ) } ,由 pdata(x) p d a t a ( x ) 生成,独立同分布。

  既然样本由隐含分布 pdata(x) p d a t a ( x ) 生成,那么该分布就可以通过隐含的参数 θ θ 完整表达。待求模型 pmodel(x;θ) p m o d e l ( x ; θ ) 就是一簇由 θ

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值